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内 容 简 介 


本 书 是 针对 “数值 分 析 ”“ 计 算 方 法 ”“ 数 值 分 析 与 算法 ”等 课程 编写 的 教材 ,主要 面向 理工 科大 学 信 
息 科 学 与 技术 各 专业 ,以 及 信息 与 计算 科学 专业 的 本 科 生 。 本 书 内 容 包括 数值 计算 基础 , 非 线 性 方程 的 数 
值 解法 线性 方程 组 的 直接 解法 与 迭代 解法 矩阵 特征 值 与 特征 向 量 的 计算 ,数值 殖 近 与 插值 数值 积分 方 
法 、 常 微分 方程 初 值 问题 的 解法 ,以 及 数值 算法 与 应 用 的 知识 。 本 书 涵盖 数值 分 析 、 和 矩阵 计算 领域 最 基本 、 
最 常用 的 一 些 知识 与 方法 ,而 且 在 算法 及 应 用 方面 增加 了 一 些 较 新 的 内 容 。 在 叙述 上 既 注 重 理论 的 严谨 
性 ,又 强调 方法 的 应 用 背景 .算法 设计 ,以 及 不 同方 法 的 对 比 。 为 了 增加 实用 性 与 可 扩展 性 ,每 章 配 备 了 应 
用 实例 、 算 法 背后 的 历史 ,评述 等 子 栏 目 , 书 末 附 有 算法 .术语 索引 。 在 附录 中 还 包括 MATLAB 软件 的 简 
介 , 便 于 读者 快速 掌握 并 进行 编程 实验 。 

本 书 适 合作 为 高 年 级 本 科 生 或 研究 生 的 教材 ,也 可 供 从 事 科 学 与 工程 计算 的 科研 人 员 参 考 。 
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序 


“清华 大 学 计算 机 系列 教材 "已 经 出 版 发 行 了 30 余 种 ,包括 计算 机 科学 与 技术 专业 的 基 
础 数学 、 专 业 技 术 基 础 和 专业 等 课程 的 教材 ,覆盖 了 计算 机 科学 与 技术 专业 本 科 生 和 研究 生 
的 主要 教学 内 容 。 这 是 一 批 至 今 发 行 数 量 很 大 并 赢得 广大 读者 赞誉 的 书籍 ,是 近年 来 出 版 
的 大 学 计算 机 专业 教材 中 影响 比较 大 的 一 批 精品 。 

本 系列 教材 的 作者 都 是 我 熟悉 的 教授 与 同事 ,他 们 长 期 在 第 一 线 担任 相关 课程 的 教学 
工作 ,是 一 批 很 受 本 科 生 和 研究 生 欢 迎 的 任课 教师 。 编 写 高 质量 的 计算 机 专业 本 科 生 (和 研 
究 生 ) 教 材 ,不 仅 需 要 作者 具备 丰富 的 教学 经 验 和 科研 实践 ,还 需要 对 相关 领域 科技 发 展 前 
沿 的 正确 把 握 和 了 解 。 正 因为 本 系列 教材 的 作者 们 具备 了 这 些 条 件 , 才 有 了 这 批 高 质量 优 
秀 教材 的 产生 。 可 以 说 ,教材 是 他 们 长 期 辛勤 工作 的 结晶 。 本 系列 教材 出 版 发 行 以 来 ,从 其 
发 行 的 数量 、 读 者 的 反映 已 经 获得 的 国家 级 与 省 部 级 的 奖励 ,以 及 在 各 个 高 等 院 校 教学 中 
所 发 挥 的 作用 上 ,都 可 以 看 出 本 系列 教材 所 产生 的 社会 影响 与 效益 。 

计算 机 学 科 发 展 异常 迅速 ,内 容 更 新 很 快 。 作 为 教材 ,一 方面 要 反映 本 领域 基础 性 、 普 
饥 性 的 知识 ,保持 内 容 的 相对 稳定 性 ; 另 一 方面 ,又 需要 紧 跟 科技 的 发 展 , 及 时 地 调整 和 更 新 
内 容 。 本 系列 教材 都 能 按照 自身 的 需要 及 时 地 做 到 这 一 点 。 如 王 爱 英 教授 等 编著 的 《计算 
机 组 成 与 结构 》、 戴 梅 苯 教授 等 编著 的 (微型 计算 机 技术 及 应 用 ) 都 已 经 出 版 了 第 四 版 , 严 蔚 
人 敏 教授 的 《数据 结构 ?也 出 版 了 三 版 ,使 教材 既 保 持 了 稳定 性 ,又 达到 了 先进 性 的 要 求 。 

本 系列 教材 内 容 丰 富 , 体 系 结构 严 并 ,概念 清晰 ,易学 易 懂 ,符合 学 生 的 认 知 规律 ,适合 
教学 与 自学 , 深 受 广大 读者 的 欢迎 。 系 列 教材 中 多 数 配 有 丰富 的 习题 集 、 习 题解 答 、 上 机 及 
实验 指导 和 电子 教案 ,便于 学 生理 论 联系 实际 地 学 习 相 关 课 程 。 

随 着 我 国 进一步 的 开放 ,我们 需要 扩大 国际 交流 ,加 强 学 习 国 外 的 先进 经 验 。 在 大 学 教 
材 建 设 上 ,我 们 也 应 该 注意 学 习 和 引进 国外 的 先进 教材 。 但 是 ,清华 大 学 计算 机 系列 教材 ” 
的 出 版 发 行 实践 以 及 它 所 取得 的 效果 告诉 我 们 ,在 当前 形势 下 ,编写 符合 国情 的 具有 自主 版 
权 的 高 质量 教材 仍 具 有 重大 意义 和 价值 。 它 与 国外 原版 教材 不 仅 不 矛盾 ,而 且 是 相辅相成 
的 。 本 系列 教材 的 出 版 还 表明 ,针对 某 一 学 科 培 养 的 要 求 ,在 教育 部 等 上 级 部 门 的 指导 下 ， 
有 计划 地 组 织 任课 教师 编写 系列 教材 ,还 能 促进 对 该 学 科 科 学 .合理 的 教学 体系 和 内 容 的 
研究。 

我 希望 今后 有 更 多 、 更 好 的 我 国 优秀 教材 出 版 。 


清华 大 学 计算 机 系 教授 ,中 国 科学 院 院 士 


和 阪 级 


第 2 版 前 言 


“数值 分 析 ” 或 “计算 方法 ”是 理工 科大 学 各 专业 普遍 开设 的 一 门 课程 ,其 内 容 主 要 包括 
有 关 数 值 计算 (numerical computing) 的 理论 与 方法 。 数 值 计算 是 计算 数学 、 计 算 机 科学 与 
其 他 工程 学 科 相 结合 的 产物 , 随 着 计算 技术 的 发 展 与 普及 , 它 正 变 得 越 来 越 重 要 。 

本 书 的 主要 内 容 与 一 般 的 “数值 分 析 ” 教 材 基 本 一 致 ,但 还 具有 如 下 特点 。 

(1) 对 数学 理论 的 介绍 简明 扼要 。 尽 量 用 形象 的 方式 解释 数学 中 的 一 些 概念 与 理论 ， 
通过 定理 总 结 重要 的 结论 。 在 不 失 严 并 性 的 前 提 下 ,省 略 部 分 定理 的 证 明 ,取而代之 的 是 进 
行 直观 的 解释 、 验 证 ,并 说 明 其 意义 与 用 途 。 

(2) 强调 算法 的 实际 应 用 与 分 析 比 较 。 对 大 多 数 算法 ,采用 程序 伪 码 的 形式 加 以 描述 ， 
同时 分 析 其 计算 复杂 度 。 说 明 算法 应 用 中 的 细节 问题 ,对 几 个 较 新 的 算法 还 给 出 了 
MATLAB 源 程序 。 通 过 “应 用 实例 ”和 相关 MATLAB 命令 ,更 详细 地 介绍 算法 的 应 用 。 

(3) 具有 和 较 强 的 可 读 性 与 实用 性 。 尽 量 用 图 、 表 等 形象 的 方式 对 概念 、 现 象 进 行 解释 。 
每 章 编 写 了 “算法 背后 的 历史 ” 子 栏目 ,增强 阅读 的 趣味 性 。 书 末 附 有 算法 、 术 语 索 引 , 便 于 
查阅 。 为 了 便于 读者 动手 实践 ,对 MATLAB 软件 的 相关 功能 做 了 介绍 。 

(4) 在 内 容 编 排 上 有 利于 教学 。 依 据 教学 规律 安排 各 章 的 顺序 ;在 每 章 的 “评述 ”部 分 
列 出 主要 知识 点 , 除 练习 题 外 还 提供 了 上 机 实验 题 , 附 录 中 给 出 了 部 分 习题 的 答案 。 

学 习 数 值 分 析 与 算法 ,应 重视 通过 计算 机 编程 加 深 理 解 相关 理论 与 算法 。 本 书 提倡 使 
用 MATLAB 软件 来 进行 编程 实验 ,基于 以 下 理由 :DODMATLAB 编程 语言 易于 学 习 、 代 码 
简洁 ,可 节省 编程 实验 时 间 。@MATLAB 是 功能 强大 的 科学 计算 集成 环境 ,便于 程序 调试 
和 形象 直观 地 展示 程序 运行 结果 。@QMATLAB 具有 丰富 、 先 进 的 数值 计算 能 力 , 已 被 广泛 
用 于 科学 与 工程 实践 中 ,掌握 MATLAB 中 使 用 的 技术 可 作为 课程 学 习 的 扩展 与 提高 。 

本 书 第 1 版 于 2012 年 出 版 后 , 即 作为 “数值 分 析 ” 课 的 教材 投入 使 用 , 收 到 了 和 较 满意 的 
效果 。 但 通过 教学 实践 也 发 现 了 书 中 的 一 些 问 题 与 丝 漏 之 处 ,有 必要 进行 更 正 与 修订 。 本 
书 第 2 版 对 第 1 版 中 震 法 使 用 条 件 、 对 角 占 优 和 矩阵 LU 分 解 稳定 性 等 处 进行 了 更 正 ,修改 了 
第 1 章 部 分 定理 的 证 明 ,更 新 了 第 2 章 和 第 7 章 , 以 及 附录 B 有 关 MATLAB 软件 的 内 容 ， 
共计 修订 文字 图. 表 两 百 余 处 。 在 排版 方面 也 做 了 一 些 改进 ,力求 呈现 出 更 高 的 品质 。 

本 书 体现 了 作者 过 去 十 年 的 教学 工作 积累 ,参考 ,借鉴 了 十 几 种 较 新 的 国内 外 优秀 教 
材 ,力争 在 理论 与 实践 相 结合 、 反 映 学 科 发 展 前 沿 , 以 及 适应 时 代 发 展 对 学 生 培 养 的 新 要 求 
等 方面 取得 好 的 效果 。 本 书 内 容 由 误差 分 析 、, 非 线性 方程 求 根 .数值 线性 代数 .函数 捅 值 、 数 
值 积 分 、 常 微分 方程 数值 解法 等 部 分 组 成 ,包括 了 数值 计算 领域 中 最 经 典 \ 应 用 最 广泛 的 一 
些 内 容 , 它 们 也 为 学 习 数 学 规划 、 大 数据 分 析 、 机 器 学 习 等 较 新 领域 中 的 一 些 高 级 算法 提供 
基础 。 使 用 本 教材 时 ,可 用 48 学 时 讲授 主要 的 内 容 , 几乎 每 章 也 包含 一 些 简介 性 质 或 与 
MATLAB 软件 有 关 的 内 容 , 供 感 兴趣 的 学 生 选 学 或 课 后 阅读 。 

下 图 显示 了 各 章 主要 内 容 的 知识 依赖 关系 。 总 体 上 ,建议 教师 按照 从 第 1 章 到 第 8 章 
的 顺序 开展 教学 ,只 是 第 2.7 节 依 赖 于 线性 方程 组 的 有 关 知识 , 需 在 第 3 章 讲 完 后 介绍 。 
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第 1 章 数值 计算 导论 


MAN 
第 2 章 非 线性 方程 求 根 
芋 个 非 线性 方 程 | rey -第 3 章 线性 方程 组 的 直接 解法 
(迭代 算法 ) ”| ; 非 线性 方程 组 ; 


第 4 章 线性 方程 组 的 迭代 解法 


第 5 章 和 矩阵 特征 值 计算 


[_ QR 分解 | [ 特征 值 计算 二 


第 7 章 数值 积分 与 数值 微分 


第 6 章 函数 逼近 与 函数 插值 一 
|._[ 丽 到 到 过 | | 函数 据 值 | 第 8 章 ” 常 微分 方程 初 值 问 题 的 解法 
| | 单个 常 微分 方程 | | 常 微分 方程 组 
‘ 


白 如 冰 、 朱 至 址 参加 了 本 书 第 1 版 部 分 内 容 的 编写 ,选修 作者 讲授 的 “数值 分 析 ” 课 的 广 
大 同学 指出 了 第 1 版 中 的 很 多 错误 ,提供 了 积极 反馈 ,在 此 致 以 诚挚 的 谢意 ! 此 外 ,还 要 感 
谢 清 华 大 学 王 泽 角 、. 投 人 昆 . 边 计 年 、 获 瓯 慈 等 教授 给 予 的 指导 与 帮助 ,以 及 清华 大 学 出 版 社 


的 编辑 在 出 版 本 书 过 程 中 付出 的 辛勤 劳动 。 


据 不 完全 统计 ,本 书 已 被 20 多 所 大 学 选 作 教材 ,使 用 的 专业 包括 计算 机 专业 、 软 件 工程 
专业 ,电子 信息 专业 自动 化 专业 等 ,在 清华 大 学 使 用 本 教材 的 也 包括 物理 .经管 . 工 业 工程 ， 
以 及 其 他 一 些 工 科 专 业 的 学 生 。 在 此 ,作者 对 广大 读者 的 支持 表示 诚挚 的 感谢 ! 也 希望 广 


大 读者 提出 宝贵 的 意见 与 建议 。 


喻 文 健 
2015 年 7 月 
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1. 4 


1.1.1 数值 计算 与 数值 算法 … 
1.1.2 数值 计算 的 问题 与 策略 … 
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1.2.1 数值 计算 的 近似 … 
1.2.2 误差 及 其 分 类 … 


1.2.3 问题 的 敏感 性 与 数据 传递 误差 估算 pp 


1.2.4 算法 的 稳定 性 - 
计算 机 浮 点 数 系统 与 伟人 误差 … 


1.3.2 侈 人 与 机 器 精度 


1.4.1 减少 舍 入 误差 的 几 条 建议 ， 
1.4.2 影响 结果 准确 性 的 主要 因素 
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2.2 
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2.1.1 非 线 性 方程 的 解 . ed a 
2.1.2 问题 的 敏感 性 . 有 


中 
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2. 6.3 通用 求 根 算法 zeroin pp 


应 用 实例 ; 城市 水 管 应 埋 于 地 下 多 深 ? 
2.7 非 线性 方程 组 和 有 关 数 值 软件 … 
2.7.1 非 线 性 方程 组 ， 


评述 . 


练习 题 ， 
正业 是 :入 


第 3 章 线性 方程 组 的 直接 解法 ， 


3.1 基本 概念 与 问题 的 敏感 性 … 
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第 1 章 数值 计算 导论 


本 章 先 简单 介绍 数值 计算 的 背景 ,再 讨论 数值 计算 误差 的 有 关 概 念 , 以 及 影响 结果 准确 
度 的 各 种 因素 ,然后 结合 计算 机 浮 点 运算 系统 分 析 舍 人 误差 现象 ,最 后 给 出 减少 舍 人 误差 的 
若干 建议 . 


1.1 概 述 


1.1.1 数值 计算 与 数值 算法 


数值 计算 (numerical computing) 是 在 理工 类 各 学 科 专 业 中 广泛 运用 的 一 项 技术 ,多 年 
来 在 我 国 高 等 教育 培养 体系 中 受到 重视 ,讲授 数值 计算 有 关 知识 的 “数值 分 析 ”“ 计 算 方法 ” 
课程 也 逐渐 成 为 各 专业 的 必修 课 或 重要 选修 课 . 近 些 年 来 ,计算 机 科学 与 技术 发 展 迅速 , 计 
算 机 已 成 为 日 常 工作 .生活 中 不 可 缺少 的 工具 . 在 这 种 情况 下 ,数值 计算 与 计算 机 的 联系 变 


得 更 为 密切 ,其 应 用 也 日 益 广 泛 . 
数值 计算 是 横 跨 计算 数学 与 计算 机 学 科 的 交叉 

学 科 . 图 1-1 显示 了 多 个 学 科 经 过 发 展 、 融 合 , 形 成 应 用 数学 。 ”实验 /工程 科学 

“数值 计算 "方向 的 过 程 . 为 了 突出 数值 计算 在 各 种 。 -也 Le 

科学 与 工程 问题 中 的 应 用 以 及 它 作为 计算 机 学 科 一 、/” 计算 数学 计算 科学 与 工程 、 

部 分 的 重要 性 ,近年 来 也 将 它 称 为 科学 计算 (scientific 、 3 乡 

computing). “~ 数值 计算 -一 
与 数值 计算 联系 紧密 的 一 个 研究 方向 是 高 性 ,wy 


能 计算 , 它 的 研究 对 象 是 高 性 能 的 计算 机 硬件 体 0 
所 法 “ - 形成 数值 计算 研究 方向 


系 结构 及 其 应 用 ,包括 并 行 计算 机 、 并 行 算法 等 内 
容 . 事实 上 ,在 高 性 能 计算 的 应 用 中 ,数值 计算 占有 相当 重要 的 地 位 . 

与 计算 机 学 科 的 其 他 方向 不 同 , 数 值 计 算 中 的 问题 和 方法 有 其 鲜明 的 特点 . 它 主要 处 
理 连 续 物 理 量 , 例 如 时 间 ,距离 .速度 ,温度 .密度 .电压 .压强 应力 等 ,而 不 是 离散 量 . 同时 ， 
数值 计算 涉及 的 问题 很 多 都 是 连续 数学 问题 (例如 涉及 求 导数 、 积 分 或 非 线 性 方程 等 ) ,理论 
上 不 可 能 通过 有 限 步 计 算出 准确 的 结果 ,因此 求解 过 程 往往 需要 做 近似 ,并 通过 有 限 的 迭代 
步 得 到 "充分 接近 准确 解 ” 的 近似 解 . 由 于 计算 机 不 能 精确 表示 所 有 的 实数 ,数值 计算 的 每 
一 步 几 乎 都 存在 近似 ,因此 估计 、 分 析 计 算 结果 的 准确 度 非 常 重要 . 可 以 将 数值 计算 的 研究 
目标 归纳 为 : 寻找 一 个 能 迅速 完成 的 (迭代 ) 算 法 ,同时 估计 计算 结果 的 准确 度 . 

数值 计算 研究 的 核心 内 容 是 数值 算法 的 设计 与 分 析 . 在 计算 机 界 有 人 句 名 言 :“ 计 算 机 
程序 一 数据 结构 十 算法 ”, 从 中 可 见 算法 的 重要 性 . 算法 又 可 分 为 “数值 算法 ”和 “ 非 数 值 算 
法 ”, 两 者 有 着 明显 的 区 别 . 数值 算法 用 途 广泛 ,发展 迅速 ,具有 跨 学 科 的 特点 ,而 * 非 数值 算 
法 ”的 研究 主要 限于 计算 机 科学 的 范围 内 . 自从 计算 机 问世 以 来 ,算法 对 科学 与 工程 发 展 的 
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推动 作用 有 目 共 睹 . IEEE? 主办 的 《科学 与 工程 中 的 计算 》 杂 志 (Comzpauzizg in Science & 
Engineering ) 开 展 了 一 次 评选 , 选 出 在 20 世纪 对 科学 和 工程 的 发 展 与 实践 影响 最 大 的 
10 个 算法 ,它们 按时 间 顺 序 依 次 如 下 . 

(1) 1946 年 ,美国 Los Alamos 国家 实验 室 的 John Von Neumann( 冯 。，。 诺 依 曼 )、S. Ulam 
和 N. Metropolis 编写 的 Metropolis 算法 , 即 蒙特 卡 洛 (Monte Carlo) 方 法 . 

(2) 1947 年 ,美国 兰 德 (RAND) 公 司 的 G. Dantzig 创造 的 解 线性 规划 问题 的 单纯 型 算 
法 (Simplex 算法 ). 

(3) 1950 年 ,美国 国家 标准 局 数值 分 析 研 究 所 的 M. Hestenes、E. Stiefel 和 C，Lanczos 开 
创 的 Krylov( 克 雷 洛 夫 ) 子 空间 迭代 法 . 

(4) 1951 年 ,美国 Oak Ridge( 橡 树 岭 ) 国 家 实验 室 的 A. Householder( 豪 斯 霍 尔 德 ) 形 
式 化 的 矩阵 计算 的 分 解 方法 . 

(5) 1957 年 ,美国 IBM 公司 的 J， Backus 领导 开发 的 FORTRAN 最 优 编译 器 算法 . 

(6) 1959 一 1961 年 ,英国 伦敦 Ferranti 公司 的 J. Francis 发 现 的 计算 矩阵 特征 值 的 稳 
定 算法 , 即 QR 算法 . 

(7) 1962 年 ,英国 伦敦 Elliott Brothers 公司 的 T. Hoare 提出 快速 排序 算法 , 即 
Quicksort 算法 . 

(8) 1965 年 ,美国 IBM 公司 Watson 研究 中 心 的 J，Cooley 和 普林斯顿 大 学 及 AT&.T 
公司 贝尔 实验 室 的 J.， Tukey 共同 提出 的 快速 傅 里 叶 变 换算 法 , 即 FFT 算法 . 

(9) 1977 年 ,美国 Brigham Young 大 学 的 H. Ferguson 和 R. Forcade 提出 的 整数 关 
系 检测 (integer relation detection) 算 法 . 

(10) 1987 年 ,美国 耶鲁 大 学 的 L，Greengard 和 V. Rokhlin 发 明 的 快速 多 极 (fast 
multipole) 算 法 . 

虽然 完全 理解 这 “十 大 算法 ”不 是 件 容易 的 事情 ,但 粗略 看 看 可 以 发 现 ,除了 第 5 个、 第 
7 个 和 第 9 个 算法 外 ,其 余 算法 都 与 数值 计算 关系 密切 .由 此 可 见 数值 算法 的 重要 性 和 普遍 
性 . 本 书 将 讨论 最 基础 ,应 用 最 广 的 一 些 数 值 算法 ,部 分 内 容 也 涉及 这 十 大 算法 . 


1.1.2 数值 计算 的 问题 与 策略 


数值 计算 的 问题 来 自 各 个 科学 和 工程 分 支 , 可 归纳 为 下 述 3 种 情况 . 
(1) 没有 解析 解 的 数学 问题 . 一 个 简单 的 例子 是 五 次 或 更 高 次 一 元 代数 方程 的 求解 ,例如 : 
25 十 2z 一 3z 十 4z2 十 5z 一 6 一 0 
根据 阿 贝尔 定理 2 我 们 知道 ,五 次 以 及 更 高 次 代数 方程 没有 通用 的 求 根 公 式 . 因此 只 能 采用 
数值 算法 得 到 其 近似 解 . 
(2) 有 解析 解 的 数学 问题 ,但 解析 公式 的 计算 很 复杂 . 容易 想到 的 例子 是 涉及 ee 、sinz 
等 函数 的 计算 问题 9, 因 为 将 这 些 函 数 的 计算 转化 为 加 、 减 、 乘 、 除 运算 时 涉及 无 穷 级 数 , 因 


QD the Institute of Electrical and Electronics Engineers: 电器 与 电子 工程 师 学 会 ,是 世界 上 最 大 的 专业 学 术 组 织 . 
@@ 1824 年 ,Abel( 阿 贝尔 ) 证 明了 次 数 大 于 四 次 的 多 项 式 并 不 都 有 用 初等 运算 及 系数 表示 的 求 根 公 式 . 
@ ”在 计算 机 高 级 编程 语言 中 ,已 将 常用 函数 的 计算 编制 成 库 函 数 提供 给 用 户 , 因 此 一 般 用 户 往往 忽视 了 其 内 部 的 
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此 须 采 用 数值 计算 中 的 近似 、 截 断 等 技术 加 以 处 理 . 

(3) 在 科学 与 工程 研究 中 模拟 难以 形成 的 实验 条 件 . 这 是 最 常见 ,也 是 最 贴近 应 用 的 
情况 ,被 称 为 数值 模拟 (simulation) 或 计算 机 仿真 . 例如 ,在 天 体 物 理 研 究 中 ,有 些 过 程 是 不 
能 直接 或 者 通过 实验 再 现 的 ,因此 只 能 用 计算 机 建立 有 关 物 理 方程 的 模型 ,然后 通过 数值 求 
解 这 些 方 程 进行 模拟 实验 . 除了 处 理 这 种 用 其 他 手段 无 法 解决 的 问题 外 ,数值 计算 还 被 大 
量 用 于 解决 “常规 ”实验 可 以 解决 的 问题 ,其 好 处 是 降低 时 间 和 金钱 的 成 本 ,而 且 更 安全 . 例 
如 ,用 数值 计算 模拟 汽车 碰撞 实验 、 集 成 电路 芯片 投产 前 的 性 能 模拟 等 . 

通过 数值 计算 解决 问题 的 过 程 通常 包括 以 下 6 步 . 

(1) 根据 相关 学 科 的 背景 知识 建立 数学 模型 ,通常 是 某 种 类 型 的 方程 . 

(2) 研究 数值 求解 这 个 方程 的 算法 . 

(3) 通过 计算 机 程序 或 软件 实现 这 个 算法 . 

(4) 在 计算 机 上 运行 软件 进行 数值 模拟 . 

(5) 将 计算 结果 用 较 直 观 的 方式 输出 ,例如 使 用 计算 机 可 视 化 技术 . 

(6) 解释 并 确认 计算 结果 ,如 果 需 要 ,调整 参数 后 重复 上 面 的 某 些 或 全 部 步 又 . 

上 述 步骤 中 的 第 (2)、(3) 两 步 是 数值 计算 研究 的 主要 内 容 , 而 数值 计算 的 有 关 知 识 对 设计 
好 其 他 各 步 都 有 帮助 .应 该 强调 的 是 ,上 述 各 步骤 相互 间 紧 密 关联 ,最 终 计算 结果 的 准确 性 和 
效率 受 这 些 步 又 整体 的 影响 .此 外 ,问题 的 实际 背景 和 要 求 也 左右 着 各 步 又 中 方法 的 选择 . 

数值 计算 处 理 的 问题 还 应 当 是 适 定 的 ， 如 果 一 个 数学 问题 的 解 存在 \ 唯 一 , 且 连 续 地 依 
赖 于 问题 的 数据 , 则 称 这 个 问题 是 适 定 的 (well-posed,well-defined). 这 里 “连续 地 依赖 于 
问题 的 数据 ”" 指 问题 数据 的 微小 改变 不 会 造成 问题 解 的 剧烈 变化 ,这 个 条 件 对 于 数值 计算 
是 极其 重要 的 ,因为 数值 计算 以 有 限 字 长 的 计算 机 为 工具 ,计算 过 程 中 数据 的 扰动 总 不 可 如 
免 . 当然 , 绝 大 多 数 科 学 与 工程 问题 也 满足 适 定 条 件 , 只 有 少数 例外 情况 ,例如 地 震 问 题 的 
计算 模型 .在 各 种 适 定 的 数值 计算 问题 中 , 仍 有 一 些 问 题 的 解 对 数据 扰动 是 比较 敏感 的 . 
关于 问题 敏感 性 的 定义 和 讨论 ,将 在 后 面 的 1. 2. 3 节 详 细 介 绍 . 

求解 数值 计算 问题 的 一 般 策 略 是 将 复杂 或 困难 的 问题 用 解 相同 或 相近 的 简单 问题 代 
蔡 , 这 种 近似 过 程 通 常 包括 下 述 7 种 . 

(1) 用 有 限 维 空间 代替 无 限 维 空间 . 

(2) 用 有 限 的 过 程 代 蔡 无 限 的 过 程 . 

(3) 用 代数 方程 代替 微分 方程 . 

(4) 用 线性 问题 代替 非 线 性 问题 . 

(5) 用 低 阶 系统 代替 高 阶 系统 . 

(6) 用 简单 函数 代替 复杂 函数 . 

(7) 用 简单 结构 的 矩阵 代替 一 般 的 矩阵 . 

例如 ,在 函数 逼近 问题 中 就 是 用 有 限 维 子 空间 近似 无 限 维 的 函数 空间 ;在 计算 无 穷 级 数 
或 积分 时 ,就 是 将 无 限 的 过 程 近似 为 有 限 的 过 程 ; 求 解 微分 方程 的 基本 方法 是 将 其 转化 为 代 
数 方程 ;求解 非 线 性 方程 通常 将 它 转化 为 一 系列 线性 方程 的 求解 ; 非 线 性 方程 的 线性 化 也 可 
看 成 是 将 高 阶 系 统 变 为 低 阶 系统 ;任何 复杂 函数 的 计算 都 需 近 似 为 简单 函数 ,因为 计算 机 最 
终 只 能 进行 加 \ 减 、 乘 、 除 等 基本 运算 ;用 简单 结构 的 矩阵 代替 复杂 结构 的 和 矩阵 往往 能 以 很 小 
的 精度 损失 换取 较 大 的 计算 效率 提升 . 在 本 书后 续 章 节 的 内 容 中 ,对 各 种 数值 方法 的 介绍 
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将 充分 体现 这 些 策略 . 

实际 的 求解 过 程 通常 包括 两 步 : 在 保证 问题 的 解 不 变 或 变化 不 大 的 前 提 下 将 给 定 问题 
转化 为 另 一 个 容易 求解 的 问题 ,以 及 对 简化 后 得 到 的 问题 进行 求解 . 因此 ,好 的 数值 算法 应 
具备 两 方面 特点 : 一 方面 要 计算 效率 高 (计算 时 间 短 .占用 内 存 少 等 ) ; 另 一 方面 还 要 尽 可 能 
地 准确 可靠, 也 就 是 说 ,在 出 现 各 种 近似 的 前 提 下 还 能 得 到 尽 可 能 准确 的 结果 . 


1.1.3 数值 计算 软件 


近 几 十 年 来 , 随 着 计算 机 软件 、 互 联网 等 技术 的 发 展 ,已 涌现 出 一 些 高 质量 的 数学 软件 
或 程序 包 , 其 中 一 些 还 可 免费 获得 源 代 码 . 有 效 地 借助 这 些 软件 ,程序 ,可 方便 地 求解 一 些 
典型 问题 ,推进 具体 的 科学 与 工程 研究 工作 . 使 用 数学 软件 的 重要 性 已 得 到 了 广泛 认同 , 基 
于 此 种 考虑 ,目前 理工 科大 专 院 校 基本 上 都 开设 了 “数学 实验 ”课程 .本 书 在 介绍 数值 计算 
软件 的 基础 算法 的 同时 ,还 希望 读者 重视 数值 算法 程序 的 编写 和 数值 计算 软件 的 使 用 ,加 深 
对 方法 的 理解 ,了 解 最 新 的 进展 ,真正 获得 实践 应 用 的 能 力 . 

在 介绍 一 些 具体 的 数值 软件 之 前 , 先 列 出 高 质量 数学 软件 应 具有 的 特点 1. 

(1) 可 靠 . 对 一 般 的 问题 总 能 正确 运行 . 


(3) 高 效率 . 求解 问题 所 用 的 时 间 和 存储 空间 尽 可 能 地 小 . 

(4) 方便 使 用 . 具有 方便 、 友 好 的 用 户 界面 . 

(5) 可 移植 . 在 各 种 计算 机 平台 下 都 (或 经 少量 修改 后 ) 能 使 用 . 

(6) 可 维护 .程序 易于 理解 和 修改 (开放 源 代码 的 软件 ). 

(7) 适用 面 广 . 可 求解 的 问题 广泛 . 

(8) 鲁 棒 .能 解决 大 部 分 问题 ,偶尔 失败 的 情况 下 能 输出 提示 信息 ,及 时 地 终止 . 

事实 上 ,满足 所 有 这 些 特点 的 软件 几乎 是 不 存在 的 . 它们 只 是 作为 使 用 者 挑选 软件 考 
虑 的 因素 ,同时 也 为 数值 算法 软件 开发 者 提出 了 努力 的 目标 . 

表 1-1 列 出 了 一 些 重要 的 数值 计算 软件 程序 包 的 来 源 ,其 中 很 多 能 通过 互联 网 免费 获 
得 . 这 些 免 费 程 序 代码 通常 由 FORTRAN 语言 编写 ,也 有 的 使 用 的 是 C 语言 .C++ 语言 . 
CMLIB、Netlib 和 NR 是 3 个 重要 资源 ,它们 都 汇集 了 来 自 不 同 渠 道 的 各 种 程序 包 , 这 些 程序 源 
代码 可 以 被 用 户 编写 的 程序 调用 ,或 者 舱 入 到 用 户 自己 开发 的 应 用 程序 中 . 另外 ,CMLIB 还 具 
有 方便 的 检索 、 查 找 功 能 . 更 多 的 数值 软件 资源 参见 文献 L2] ,或 通过 互联 网 进行 搜索 . 


表 1-1 重要 的 数值 计算 软件 .程序 包 的 网 络 资源 


名 称 内 容 说 明 商业 /免费 网 址 
CMLIB pt 免费 ee 
FMM yy rt do Computations 一 免费 ee 
el ee Technology Facilities Council 提供 的 免费 Re 
IMSL Visual Numerics 公司 提供 的 数学 与 统计 程序 软件 库 商业 www. vni. com 
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名 称 内 容 说 明 商业 /免费 网 址 
NAG NAG 公司 提供 的 数值 算法 程序 集 商业 www. nag. com 
NAPACK ee eg edt Aebe 免费 www. netlib. org 
Netlib 汇集 各 种 免费 数值 计算 软件 的 网 站 免费 www. netlib. org 
NR Numerical Recipes 系列 书 (参见 文献 L5]) 所 附 软件 部 分 免费 | www. nr. com 
Numeralgo | 期 刊 Numerical Algorithms 中 的 软件 免费 www. netlib. org 
MATLAB | MathWorks 公司 出 品 的 数学 软件 商业 www. matlab. com 
PORT 贝尔 实验 室 开 发 的 软件 部 分 免费 | www. netlib. org 
SLATEC 美国 政府 实验 室 联 合 汇编 的 软件 免费 www. netlib. org 
SOL 美国 斯 坦 福 大 学 系统 优化 实验 室 开 发 的 优化 及 相关 问 免费 www. stanford. edu/ 

题 的 软件 group/ SOL/ 


除了 包含 源 代码 的 程序 包 , 另 一 种 数值 计算 软件 的 形式 是 交互 式 集成 环境 , 它 能 提供 强 
大 ,丰富 的 数学 工具 ,同时 有 较 好 的 图 形 / 图 像 显 示 功 能 和 高 级 编程 语言 ,使 得 在 它 的 基础 上 
能 快速 地 开发 出 用 户 所 需 的 软件 原型 . 当前 应 用 最 广泛 的 数值 计算 软件 是 MathWorks 公 
司 的 MATLAB 软件 . MATLAB 是 一 个 交互 式 系统 ,汇集 了 大 量 的 数值 算法 ,尤其 是 处 理 
线性 代数 .矩阵 计算 问题 的 能 力 很 强 . MATLAB 本 身 也 定义 了 一 种 高 级 编程 语言 ,语法 比 
较 简 洁 , 有 利于 快速 地 编写 出 程序 ,同时 附带 的 其 他 功能 形成 了 一 个 很 好 的 集成 开发 环境 . 
表 1-2 将 MATLAB 与 其 他 高 级 编程 语言 进行 了 对 比 . 

表 1-2 MATLAB 与 其 他 高 级 编程 语言 的 比较 


MATLAB( 作 为 编程 语言 ) C.C++ FORTRAN 
比较 项 目 
第 四 代 编 程 语言 第 三 代 编 程 语言 
编译 方式 解释 器 ,或 JIT 加 速 器 (v 6.5 以 后 版 本 ) 编译 器 
是 否 声明 变量 | 不 需要 需要 
开发 时 间 较 快 较 慢 
运行 时 间 较 慢 较 快 
开发 环境 集成 环境 (编辑 器 、 调 试 器 ,命令 历史 、 变 量 空间 、profiler 编译 器 ) 


应 说 明 的 是 ,由 于 MATLAB 中 包含 大 量 的 内 部 算法 函数 ,如 果 编 程 时 主要 使 用 的 是 这 
些 内 部 函数 ,MATLAB 程序 的 运行 速度 并 不 会 比 其 他 高 级 语言 实现 的 相同 算法 慢 . 此 外 ， 
较 新 的 MATLAB 版 本 具有 一 些 加 速 运行 的 机 制 ,因此 只 要 稍 加 注意 ,用 MATLAB 进行 
程 实验 是 非常 便捷 的 . 

除了 集成 了 大 量 先进 的 数值 算法 , MATLAB 还 提供 了 强大 的 计算 可 视 化 功能 . 通过 
MATLAB 中 的 命令 能 很 方便 地 分 析 计 算 的 数据 ,以 及 将 计算 结果 以 图 形 的 形式 加 以 直观 
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显示 . MATLAB 中 还 包含 了 很 多 选项 工具 箱 (Toolbox) ,为 信号 处 理 、 图 像 处 理 、 控 制 、 系 
统 辨 别 . 优 化 .统计 、 金 融 . 通 信 等 各 种 专业 应 用 提供 专门 的 工具 . MATLAB 已 成 为 广大 科 
学 与 工程 研发 人 员 首 选 的 工具 软件 ,其 正式 用 户 数目 已 超过 了 一 百 万 ,很 多 大 学 也 采用 
MATLAB 作为 数值 计算 相关 课程 的 教学 辅助 软件 . 

MATLAB 是 跨 平 台 的 软件 ,无 论 在 Windows 操作 系统 下 ,还 是 UNIX/Linux 操作 系 
统 下 都 能 使 用 . 与 MATLAB 功能 类 似 的 还 有 一 些 免费 软件 ,其 中 比较 著名 的 一 个 是 
octave. 可 从 互联 网 上 免费 下 载 , 它 在 UNIX/Linux 操作 系统 下 运行 ,界面 和 功能 与 
MATLAB 基本 一 致 . 另外 两 种 类 似 于 MATLAB 的 免费 软件 是 RLaB 和 Scilab. 

本 书 讨论 的 算法 基本 上 都 能 在 表 1-1 中 的 数值 软件 资源 中 找到 实现 代码 ,或 在 
MATLAB 中 找到 相应 的 程序 命令 ,在 后 面 介绍 具体 内 容 时 将 提 及 . 


1.2 误差 分 析 基 础 


1.2.1 数值 计算 的 近似 


前 面 提 到 ,数值 计算 主要 研究 求解 连续 数学 问题 的 算法 和 程序 实现 ,但 这 并 不 意味 着 我 
们 只 需 关 心 数值 算法 执行 过 程 中 的 误差 . 为 了 对 最 终 计算 结果 的 准确 度 进 行 评价 ,必须 知 
人 它们 主要 有 以 下 3 种 情况 . 

(1) 建立 数学 模型 时 做 的 近似 . 这 个 过 程 中 可 能 简化 或 忽略 系统 的 一 些 不 重要 的 物理 
特性 (例如 摩擦 ,空气 阻力 等 ). 

(2) 经 验 或 测量 造成 的 数据 误差 . 有 些 计 算 中 用 的 数据 (例如 重要 的 物理 常数 、 普 朗 克 
常数 .万 有 引力 常数 等 ) 都 是 通过 实验 测量 得 到 的 ,或 多 或 少 存在 一 些 误 差 . 

(3) 输入 数据 来 自 以 前 计算 的 结果 . 一 个 实际 的 科学 或 工程 问题 通常 被 分 解 为 多 个 前 
ee deed edema ln ti 

过 分 析 计 算 前 主要 的 近似 来 源 我 们 知道 ,为 了 使 最 终结 果 准 确 , 应 采取 建立 更 精确 数 

a 采用 更 准 的 测量 值 ,以 及 改变 前 一 步 计算 方案 以 减少 输入 数据 误差 等 措施 . 

计算 前 的 误差 有 时 会 超出 我 们 的 控制 范围 ,而 计算 过 程 中 的 近似 往往 可 以 控制 ,采用 不 
同 的 算法 和 编程 实现 技巧 对 其 影响 很 大 . 计算 过 程 中 的 近似 主要 有 两 种 . 

(1) 截断 误差 或 方法 误差 . 求解 一 个 数学 方程 往往 可 采用 多 种 数值 方法 ,各 种 数值 


方法 往往 都 进行 了 一 些 简化 处 理 , 例 如 ,函数 f(z) 用 其 刀 阶 泰勒 展开 10 + 十 


Ltt 0 "代替 ， 则 截断 误差 为 全 了 名 zetb ,8 在 0 和 之 间 ， 


(2) 含 入 误差 . 无 论 是 手工 计算 、 利 用 计算 器 ,还 是 数字 计算 机 ,输入 与 结果 数据 都 只 

pein pn er ann i 此 外 ,常用 的 十 进 制 数据 输入 计算 
变 成 二 进 制 数据 ,这 个 转换 过 程 产生 的 误差 通常 也 归 为 舍 入 误差 . 

9 a 研究 数值 算法 抵抗 这 种 扰动 的 稳定 性 非常 
关于 算法 稳定 性 的 概念 见 1. 2. 4 节 . pe 
主要 作用 ,应 对 其 重点 考虑 和 分 析 . 

例 1.1( 数 值 计算 的 近似 ): 为 了 计算 地 球 的 表面 积 ,可 以 采用 球体 表面 积 的 计算 公式 : 
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A 一 4rr 

其 中 ,r 为 球 的 半径 . 试 分 析 哪 几 种 近似 影响 计算 的 最 后 结果 . 

【 解 】 这 个 数值 求解 过 程 包含 以 下 几 种 近似 . 

(1) 将 地 球 近 似 看 成 球体 ,这 是 建立 数学 模型 的 近似 . 

(2) 取 半 径 "6370km, 这 可 能 是 经 验 测 量 或 前 一 步 计算 得 到 的 ,存在 数据 误差 . 

(3) x 的 值 只 能 截取 到 有 限 位 ,这 是 数据 误差 . 

(4) 计算 4rr 涉及 浮 点 数 的 乘法 ,存在 舍 人 误差 (将 (2)、(3) 中 数据 输入 到 计算 机 也 存 
在 舍 入 误差 ). 

最 终 算出 地 球 表面 积 的 准确 度 与 所 有 这 些 近 似 有 关 . 


1.2.2 误差 及 其 分 类 


1. 误差 与 有 效 数字 

误差 用 来 表示 计算 值 (近似 值 ) 接 近 真 实 值 (准确 值 ) 的 程度 ,一 般 有 如 下 定义 . 

定义 1.1: 设 准确 值 x 对 应 的 近似 值 为 , 则 误差 (error) 

e(7z) = I—z， 

它 也 被 称 为 绝对 误差 (absolute error). 

应 特别 注意 ,误差 表示 的 接近 程度 与 真实 值 的 大 小 有 关 . 例如 ,统计 全 国人 口 时 出 
现 误差 1 的 严重 程度 远 小 于 统计 教室 中 学 生 人 数 时 出 现 误差 1. 因此 引入 相对 误差 的 

定义 1.2: 设 准 确 值 x 对 应 的 近似 值 为 z , 则 其 相对 误差 (relative error) 为 


和 天王 挛 


e.(7X) 一 
天 


关于 这 两 个 概念 ,应 注意 以 下 4 点 . 

(1) 绝对 误差 不 是 误差 的 绝对 值 , 它 可 正 、 可 负 . 

(2) 如 果真 实 值 为 零 , 则 相对 误差 没有 定义 . 

(3) 相对 误差 通常 用 百分比 的 形式 表示 ,如 果 相 对 误差 的 大 小 超过 100% ,一 般 认 为 其 
计算 结果 完全 错误 . 

(4) 相对 误差 和 近似 值 的 关系 也 可 表示 为 : 近似 值 三 真实 值 X(1 十 相对 误差 ). 

在 实际 的 问题 中 ,不 可 能 知道 绝对 误差 和 相对 误差 的 准确 值 ,一般 只 能 估计 或 限定 误差 
的 范围 . 误差 的 绝对 值 的 上 限 称 为 误差 限 ,而 相对 误差 绝对 值 的 上 限 称 为 相对 误差 限 ,分 别 
记 为 e(2) 和 e, (2). 

也 常 使 用 如 下 公式 计算 相对 误差 : 


er( 工 ) = 


这 与 相对 误差 的 定义 有 些 差别 ,但 当 e. (3) 较 小 时 可 忽略 这 种 差别 . 按照 此 公式 ,可 以 先 佑 
计 出 误差 限 , 然 后 除 以 z 得 到 相对 误差 限 . 

在 表示 一 个 近似 值 时 , 常 涉及 有 效 数字 (significant digits) 的 概念 . 

定义 1.3: 一 个 数 的 有 效 数 字 指 从 左 至 右 第 一 位 非 零 数字 开始 的 所 有 数字 . 

正确 的 有 效 数字 的 位 数 与 这 个 近似 值 的 相对 误差 有 关 , 见 定理 1. 1. 
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定理 1.1: 设 之 为 z 的 近似 值 ,车 有 Zp 位 正确 的 有 效 数字 (p 宇 1), 则 其 相对 误差 满足 : 
[el X 10reh ， 
其 中 do 为 的 第 一 位 有 效 数字 . 
【证 明 】 根据 已 知 条 件 , 可 设 
去 -ad, | dp | 将 
Pr 三 主 10” x (a T 10 T T 1071 T ) 


其 中 ,di(i 二 0,1,…) 为 0 到 9 之 间 的 某 个 数字 , 且 wm 天 0. 由 于 前 p 位 有 效 数 字 正 确 ， 
1 
10r*” 


| < 和 < 


而 xz 的 第 一 位 有 效 数字 也 是 wo , 则 
1 让 宇 L070 


所 以 ， 
由 
10”X 一 
i |=- 10 _1l1 pt1 
le:(37 | i 二 1 元 X10 : 
原 命题 得 证 . 国 


注意 另 一 个 易 混 淆 的 说 法 : 对 某 数 xz“ 保留 p 位 有 效 数字 ”得 到 近似 值 i, 此 时 需 考 虑 生 
成 最 后 一 位 有 效 数 字 时 的 四 舍 五 人 ,有 定理 1. 2. 
定理 1.2: 设 对 保留 p 位 有 效 数字 后 得 到 近似 值 , 则 z 的 相对 误差 满足 : 
| er (2) < 去 X10 a 
其 中 ,du 为 zx 的 第 一 位 有 效 数字 . 
【证 明 】 设 


dp ,dy 
10r7 +t 10 +” 小 


保留 pz 位 有 效 数字 时 需 考 虑 dj, 的 值 进行 四 舍 五 入 ,得 


| e(£) |< 10" x 一 x 10-eH ， 


z=+1 "xX (do 十 车 十 … 十 


而 
I L033 
所 以 ， 
et 1 Re 
ees < 7 X10° 
原 命 题 得 证 . 国 


定理 1. 2 得 到 的 误差 限 正 好 是 定理 1. 1 的 一 半 , 这 是 由 于 z 与 关系 的 不 同 造成 的 ,应 
注意 它们 在 表述 上 的 细微 差别 . 
例 1.2( 保 留 位 有 效 数字 ): 设 zx 王 x 一 3. 141 592 65…, 对 它 保留 3 位 有 效 数 字 得 到 芭 ， 
求 + 并 合理 地 估计 相对 误差 限 . 
【 解 】 利用 四 舍 五 入 规则 得 二 3. 14. 根据 定理 1.2, 其 相对 误差 限 se (3) 王 
1 


2 
3x3*10 . 国 
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反 过 来 ,根据 相对 误差 的 大 小 也 可 以 判断 准确 的 有 效 数字 位 数 ,但 结论 要 复杂 一 些 . 
定理 1.3: 设 工 的 第 一 位 有 效 数字 为 do ,车 近似 值 的 相对 误差 满足 


. 1 = 
lsD ls iD<*™ 


则 z 具 有 位 正确 的 有 效 数字 ,或 者 在 保留 p 位 有 效 数字 后 与 x 的 结果 相等 . 
【证 明 】 设 


di i 
= m 让 
z= 土 10" X (和 二 车 et 
根据 已 知 条 件 ， 
We eg od 
则 
lec2) |=| zl es) 1< 10" XX10m. 


这 说 明 z 与 x 的 差别 仅 在 do 所 在 的 数位 上 , 差 值 在 一 5 和 5 之 间 . 若 两 者 的 第 p 位 有 效 数 
字 相 同 ( 均 为 d,-1), 则 前 面 的 有 效 数 字 也 一 定 相 同 , 即 z 具 有 Zp 位 正确 的 有 效 数 字 . 否则 ， 
第 p 位 有 效 数 字 不 相同 , 则 它们 一 定 是 相 邻 的 两 个 数字 ( 设 9 后 面相 邻 的 数字 为 0) ,在 保留 
p 位 有 效 数字 后 与 x 的 结果 将 相等 . 原 命题 得 证 . 国 
考虑 到 du 的 取 值 范围 是 1,2,…,9, 由 定理 1.3 得 到 如 下 的 重要 推论 . 
定理 1.4: 车 zz 的 近似 值 i 的 相对 误差 满足 


上 (2》| 魏 一 XX 10, 


则 zz 至 少 有 zp 位 正确 的 有 效 数字 ,或 者 在 保留 p 位 有 效 数字 后 与 x 的 结果 相等 . 
例 1.3( 相 对 误差 限 与 有 效 数字 ): 设 工 =9. 9993 ,二 一 9. 9997,z 一 9. 9989. 误差 
0.0004 -1 


Ie (34) | 二 9 之 赴 X10， 满足 定理 1. 4 的 条 件 (p 一 4), 同时 也 发 现 六 至 少 有 4 位 正 
确 的 有 效 数字 . 而 |e (6) | 一 2894 之 直 X10-',3。 没有 4 位 正确 的 有 效 数字 ,但 将 人 和 


工 都 保留 4 位 有 效 数 字 后 ,它们 都 等 于 9.999. 对 于 近似 数 和 和 3 ,这 就 验证 了 定理 1.4 的 
结论 . 国 

定理 1.4 的 结论 也 可 以 说 包括 了 “zp 位 正确 的 有 效 数字 ”的 两 种 含义 ,因此 可 笼统 地 说 ， 
若 相对 误差 不 超过 立 X 10“, 则 近似 值 有 p 位 正确 的 有 效 数字 . 甚至 可 以 不 很 严格 地 说 : 


若 相 对 误差 不 超过 10?, 则 近似 值 大 约 有 p 位 正确 的 有 效 数字 . 

近似 数 的 精度 (precision) 和 准确 度 (accuracy) 两 个 概念 含义 接近 ,为 了 表达 更 严谨 ,应 
注意 区 分 .精度 与 有 效 数字 的 位 数 有 关 , 而 准确 度 则 与 准确 的 有 效 数字 位 数 有 关 ( 因 为 它 与 
相对 误差 有 联系 ). 例如 ,“ 双 精度 浮 点 数 ” 指 表示 浮 点 数 时 采用 了 较 多 的 二 进 制 位 数 , 但 并 
不 说 明 其 准确 程度 . 又 如 ,我 们 可 以 说 3. 141 111 11 是 一 个 有 9 位 (十 进 制 ) 精 度 的 数 ,但 它 
作为 x 的 近似 值 时 准确 度 并 不 高 ,只 有 4 位 准确 的 有 效 数字 . 因此 ,仅仅 采用 较 高 精度 的 数 
进行 数值 计算 并 不 能 保证 计算 结果 的 准确 度 . 

2. 数据 传递 误差 与 计算 误差 

考虑 一 个 简单 的 计算 问题 : 函数 求 值 . 假设 有 函数 f: RR 一 R ,x 为 函数 输入 参数 的 准 

。0。 
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确 值 , 则 准确 结果 为 f(x). 由 于 数据 误差 ,实际 使 用 的 输入 值 为 ,同时 计算 函数 了 的 过 


程 也 存在 近似 ,这 使 得 计算 结果 为 1( ,其 中 ,了 函数 代表 计算 过 程 中 的 近似 . 因此 ,总 误 
差 为 


fC2)— fx) = [FE) 一 FE)] 十 [LFCE) 一 zxz)]， Ch 1y 


其 中 第 一 项 1(2) 一 f(z) 为 输入 同 为 + 时 计算 过 程 的 误差 , 它 是 单纯 的 计算 误差 ; 第 二 项 
f() 一 f(z) 是 由 输入 数据 误差 经 过 精确 的 函数 求 值 过 程 产生 的 误差 , 即 数 据 误差 传递 到 结 
果 的 误差 . 

与 这 个 例子 类 似 ,对 一 般 的 数值 计算 问题 ,可 定义 数据 传递 误差 和 计算 误差 . 

定义 1.4: 一 个 数值 计算 过 程 的 数据 传递 误差 指 单纯 由 问题 输入 数据 误差 引起 的 计算 
结果 的 误差 . 

定义 1.5: 一 个 数值 计算 过 程 的 计算 误差 指 计算 过 程 中 的 近似 引起 的 计算 结果 的 误差 . 

最 终结 果 的 误差 可 分 为 数据 传递 误差 和 计算 误差 两 部 分 . 需要 说 明 的 一 点 是 ,数据 传 
递 误差 的 大 小 由 两 方面 因素 决定 : 一 个 是 输入 数据 误差 ; 另 一 个 是 求解 问题 本 身 的 特性 , 因 
此 ,算法 的 选择 不 会 影响 数据 传递 误差 . 

3. 截断 误差 与 舍 入 误差 

与 计算 过 程 中 的 两 种 近似 对 应 ,有 截断 误差 和 舍 人 误差 的 概念 . 

定义 1.6: 截断 误差 (truncation error) 是 指 实际 输入 对 应 的 准确 结果 与 用 给 定 算法 精 
确 计算 得 到 的 结果 之 间 的 差 , 它 反映 了 数值 方法 对 原始 数学 问题 的 简化 和 近似 . 

定义 1.7: 会 入 误差 (rounding error) 是 指 给 定 算法 经 精确 计算 得 到 的 结果 与 同样 的 算 
法 经 有 限 精度 运算 ( 即 舍 和 人 计算) 得 到 结果 之 间 的 差 . 

根据 定义 可 知 ,分 析 截 断 误 差 时 不 应 考虑 计算 机 有 限 精 度 算术 体系 的 影响 ,而 舍 和 人 误差 
由 对 实数 的 不 精确 表示 以 及 运算 的 舍 人 引起 . 计算 误差 是 截断 误差 和 舍 入 误差 的 和 .在 前 
面 的 函数 求 值 问 题 中 ,计算 误差 7(2) 一 (4) 就 包含 了 截断 误差 和 舍 人 误差 两 方面 . 

例 1.4( 差 商 近 似 1 阶 导数 ): 对 于 可 微 函 数 /: RR 一 R ,考虑 1 阶 导 数 的 差 商 近似 0 


aya 一 一 = jz) 
其 中 ,h 为 步 长 , 试 分 析 按 此 公式 计算 f(x) 的 截断 误差 与 舍 和 人 误差 ,以 及 它们 与 值 的 


【 解 】 由 泰勒 展开 得 : 


2 
Rey = + 每 17(8)， E 蕊 抬 汉 十 向. 


所 以 ,这 个 差 商 近似 的 截断 误差 估计 为 Mh/2, 其 中 ,M 是 | 了 (8&) | 的 上 界 . 假设 计算 一 次 函 
数值 的 误差 上 界 为 , 则 计算 差 商 公式 的 舍 和 人 误差 限 为 2e/h. 总 的 计算 误差 限 su 为 它们 
之 和 : 

Mh | 2e 


Etot 一 7 起 


@ 差 商 的 严格 定义 见 本 书 6. 5 节 . 这 种 近似 也 常 称 为 有 限 差 分 近似 . 
~ 
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其 中 ,第 一 项 随 h 的 减 小 而 减 小 ,第 二 项 随 hh 的 减 小 而 增 大 . 选择 合适 的 步 长 h 可 使 总 的 计 
算 误 差 最 小 . 经 过 推导 ,可 以 看 到 当 h 二 2 Ve/M 时 总 的 计算 误差 达到 最 小 . 图 1-2 表示 了 
用 上 述 方法 计算 函数 f(x) 二 sinz 在 x 二 1 点 的 导数 值 时 总 的 计算 误差 与 步 长 h 的 依赖 关 
系 , 同 时 还 画 出 了 截断 误差 , 舍 入 误差 及 总 误差 限 与 步 长 h 的 关系 曲线 ,其 中 , 取 M 一 1,es 
10 “为 双 精 度 浮 点 数 的 机 器 精度 ( 见 1. 3.2 节 ). 从 图 1-2 可 以 看 出 ,总 误差 在 h 守 10“ 处 
取 最 小 值 ,与 上 述 分 析 比 较 一 致 . 国 


105 
107 
10? 上 
10-0 2 
~ 
> 
10 上 “一 截断 误差 
- 


误差 


舍 入 误 凑 、、 


-15 二 
10 上 SS 


、 


加 NN 


10-17 1 1 1 1 1 1 1 
10°1% T0410 2 1050 103 4104 104 102 .10 
步 长 h 


图 1-2 不 同步 长 取 值 对 应 的 差 商 近似 导数 的 误差 


对 于 一 个 给 定 的 问题 ,有 时 只 有 截断 误差 和 舍 入 误差 中 的 某 一 个 占 主导 地 位 . 一 般 地 ， 
能 在 有 限 步 之 内 求解 的 纯 代数 问题 中 , 舍 入 误差 往往 占 主导 地 位 (比如 高 斯 消去 法 ) ,而 对 于 
涉及 积分 , 求 导 , 非 线性 这 类 理论 上 是 无 限 逼 近 过 程 的 问题 ,截断 误差 往往 占 主导 地 位 ， 因 
此 ,分 析 不 同 问题 的 计算 误差 时 ,应 有 所 侧重 . 


1.2.3 问题 的 敏感 性 与 数据 传递 误差 估算 


数据 传递 误差 主要 由 问题 的 敏感 性 决定 ,与 具体 算法 的 选择 无 关 , 下 面 给 出 相关 定义 . 

定义 1.8: 问题 的 敏感 性 (sensitivity) 是 指 输入 数据 的 扰动 对 问题 解 的 影响 程度 的 大 
小 , 它 也 被 称 为 问题 的 病态 性 . 如 果 输 入 数据 的 相对 变化 引起 解 的 相对 变化 不 是 很 大 , 则 称 
这 个 问题 是 不 敏感 的 或 良 态 的 (well-conditioned); 反 之, 如果 解 的 相对 变化 远 远 超 过 输入 数 
据 的 变化 , 则 称 这 个 问题 是 敏感 的 或 病态 的 (ill-conditioned). 

为 了 定量 地 分 析 问 题 的 敏感 性 ,下 面 引入 问题 的 条 件数 (condition number) 这 个 概念 . 

定义 1.9: 问题 的 (相对 ) 条 件数 
| 问题 的 解 的 相对 变化 量 
|| 输入 数据 的 相对 变化 量 
其 中 算 符 || 。 || 表 示范 数 , 它 用 于 度量 一 个 量 的 大 小 . 

定义 1.9 中 用 到 了 范 数 的 概念 ,对 于 一 个 实数 (复数 ) 量 来 说 , 范 数 就 是 其 绝对 值 ( 模 ). 
对 于 其 他 类 型 的 量 ( 例 如 向 量 . 和 矩阵 .函数 ) ,在 本 书 的 第 3 章 、 第 6 章 将 详细 介绍 它们 的 
范 数 . 

定义 1.9 表明 ,条 件数 为 解 的 相对 变化 与 输入 数据 相对 变化 的 比值 . 如 果 一 个 问题 的 
条 件数 远 远大 于 1, 称 这 个 问题 是 病态 的 . 也 可 以 将 条 件数 理解 为 输入 数据 误差 的 “放大 因 

EE 


cond = 


上 (1.2) 
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子 ”, 如 果 问 题 是 病态 的 , 则 即使 输入 数据 的 相对 误差 很 小 ,引起 解 的 相对 误差 也 可 能 很 大 . 


以 前 面 的 函数 求 值 问 题 为 例 , 其 条 件数 有 下 面 的 计算 公式 : 
[FE) 一 FCz)]/FCz) 
cond 一 
(2 — 2)/w 


注意 ,条 件数 是 针对 问题 而 言 的 ,不 涉及 求解 的 具体 方法 ,因此 计算 条 件数 的 公式 中 使 用 准 
确 函 数 f ,而 不 是 实际 计算 对 应 的 近似 函数 
即便 是 同一 个 问题 ,条 件数 也 会 随 输入 数据 而 变化 . 在 实际 中 ,一 般 不 能 具体 求 出 条 件 
数 的 值 , 只 能 在 输入 数据 的 可 能 变化 范围 内 对 条 件数 进行 粗略 地 估计 或 给 出 其 上 限 . 这 样 ， 
输入 数据 扰动 和 引起 解 的 相对 误差 之 间 就 满足 一 个 近似 的 不 等 式 : 
|| 数据 传递 的 相对 误差 || &cond X | 输入 数据 的 相对 变化 || (1. 3) 
这 个 式 子 考虑 了 数据 传递 误差 的 最 差 情况 . 
进一步 分 析 函 数 求 值 问题 的 条 件数 . 假设 函数 f 可 微 , 则 
f(2)— f(r) f(r)» (to— 27), 
所 以 
Lf(2)— f(z) /f(z) 
(去 一 你 
这 得 到 了 函数 求 值 问 题 条 件数 的 估计 式 . 
例 1.5( 函 数 求 值 问题 的 敏感 性 ) : 假设 x 了 0, 且 接近 x/2 的 整数 倍 , 试 用 条 件数 估计 式 
分 析 计 算 正切 函数 f(z) 二 tanz 的 问题 敏感 性 . 
【 解 】 由 (x) 二 sec?x 二 1 十 tan?X, 有 
xf’ (zx) X(l1 二 tan’x) 
Fw) tanz 
当 接近 x/2 的 整数 倍 时 ( 且 x 取 0) ,条 件数 趋 于 无 穷 大 ,此 时 计算 tanz 是 高 度 敏感 的 . 例 
如 ,对 xz=1.570 79(x/2 附近 的 值 ,x/2 守 1.570 796), 按 这 个 公式 算出 的 近似 条 件数 为 
2. 482 76X 105. 
作为 比较 ,计算 两 个 相 邻 点 的 函数 值 ， 
tan(1.570 79) = 1. 580 58 X 105 ， 
tan(1.570 78) = 6. 124 90 x 104， 
根据 它们 计算 出 x 二 1.570 79 处 条 件数 为 


(15. 8058 — 6. 124 90) X 10*/1. 580 58 X 105 
10"*/L;57079 


与 上 面 近似 条 件数 的 结果 是 很 接近 的 . 如 此 大 的 条 件数 说 明 输 入 扰动 经 过 计算 过 程 在 输出 
结果 上 放大 了 几 十 万 倍 ,因此 在 z=x/2 点 附近 计算 tanz 是 很 敏感 的 问题 . 图 
关于 一 元 函数 求 值 问题 ,可 进一步 讨论 其 反问 题 的 敏感 性 . 求 函 数值 y= 二 f(x) 的 反问 
题 是 对 给 定 的 y, 确 定 满足 y=FCz) 的 xz, 即 计算 z= 广 :(y). 如 果 原 问题 中 考虑 的 值 与 
反问 题 考虑 的 y 值 满足 y=.Fz) 的 关系 , 则 根据 条 件数 的 定义 知 反问 题 的 条 件数 为 原 问 题 
条 件数 的 倒数 . 如 果 条 件数 接近 1, 则 原 问 题 ` 反 问题 都 是 良 态 的 ,否则 两 个 问题 中 必定 有 一 
个 是 病态 的 . 类 似 于 计算 函数 y= 二 f(x) 问题 条 件数 的 估计 公式 (1.4) ,对 于 反 函 数 gs(y) 王 
广 '(y) 有 (假设 了 (zx) 关 0; 则 g (y)=1/ 了 (x)): 
。 1]2 。 


xf’ (zx) 
F(z) 


全 


cond 一 CL 


cond 3 


z( 1 + tanz) ; 


tanzx 


29.621X 10’, 


cond = 
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~ | 9) f(D Vee| f(z) 
wa g(y) | | Eg Ef Cx) 


这 个 反 函 数 的 条 件数 估计 式 也 正好 与 原 函 数 的 近似 条 件数 ( 式 (1.4)) 互 为 倒数 . 
例 1.6( 函 数 求 值 问题 及 其 反问 题 的 条 件数 ) : 函数 f(z+) 二 Vx, 分 析 该 函数 求 值 问题 及 
其 反问 题 的 敏感 性 . 
【 解 】 由 了 (zx) 二 1/(2Vz), 有 条 件数 
xf’ (zx) z/2Vz |_ 1 
f(z) i 2 
它 说 明 计算 结果 的 相对 变化 是 输入 数据 相对 变化 的 1/2, 所 以 求 平 方 根 问题 是 非常 良 态 的 . 


近似 计算 反问 题 g(y) 二 y* 的 条 件数 ,得 | 3” 二 2, 说 明 反问 题 也 不 太 敏 感 
加 


cond 人 


2 
人 


(1) 除了 一 些 简单 问题 ,大 多 数 实际 问题 的 条 件数 无 法 具体 计算 ,只 能 对 其 上 限 进行 佑 
计 , 这 时 原 问 题 与 反问 题 的 条 件数 上 限 将 不 会 互 为 倒数 . 

(2) 公式 (1.2) 定 义 的 条 件数 也 称 为 相对 条 件数 , 它 要 求 输入 和 输出 的 准确 值 不 为 零 ， 
如 果 在 某 些 特殊 情况 下 不 满足 这 个 条 件 , 可 用 绝对 变化 量 代替 公式 中 的 相对 变化 量 , 得 到 的 
条 件数 称 为 绝对 条 件数 ， 

除了 通过 条 件数 ,还 可 以 直接 根据 微分 知识 对 一 些 简单 运算 的 数据 传递 误差 进行 估计 . 
假设 计算 结果 与 输入 数据 满足 多 元 函数 关系 : y 三 了 (zi ,zs，… ,zx,) , 设 实际 的 数据 相应 地 为 
全 ， 则 利用 多 元 函数 的 泰勒 展开 并 取 线性 项 得 : 


a gf,. 
y—y》 过 之 过 PR 


这 里 假设 数据 误差 很 小 . 因此 ,可 得 到 数据 传递 误差 限 的 计算 公式 : 


e($) = 为 ) [Gs) 式 二 9 
i=1 oi 
考虑 相对 误差 限 , 则 有 
er(y) 人 EC3。 一 5 (ty) 2 
19] 131 


利用 上 述 结论 ,很 容易 得 到 加 、 减 、 乘 、 除 等 运算 的 误差 限 计 算式 ,设计 .3 的 误差 限 分 
别 为 E1 和 ez , 则 : 


E(2ir £2) =| 2 | 6 二 | 看 | 6&; 


(a 


_ |z |at| Zz | ~ 
ee 


证 0 他 


el(£1/ Ls) 
| Xz | 2 


注意 ,这 些 公式 反映 的 是 自 变 量 误差 较 小 时 的 近似 . 
1.2.4 算法 的 稳定 性 


与 问题 的 敏感 性 对 应 ,算法 的 稳定 性 (stability) 反 映 了 “计算 过 程 中 ”的 扰动 对 计算 结果 
“ 13% 
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的 影响 程度 的 大 小 . 它 也 称 为 数值 稳定 性 ,是 数值 算法 的 一 个 重要 属性 . 根据 不 同 的 问题 
和 场合 ,算法 稳定 性 的 定义 会 有 些 差别 , 它 主要 有 两 种 含义 . 

(1) 若 计 算 结 果 对 计算 过 程 中 的 舍 和 人 误差 不 敏感 , 则 相应 的 算法 为 稳定 的 算法 。 

(2) 对 于 包含 一 系列 步骤 的 计算 过 程 , 若 计算 中 的 小 扰动 不 被 放大 (传播 ) 或 放大 不 严 
重 , 则 相应 的 算法 是 稳定 的 算法 . 

下 面 借助 两 个 例子 进行 说 明 . 

例 1.7( 对 舍 入 误差 不 敏感 的 算法 ): 有 长 度 为 100 的 数组 ,每 个 数组 元 素 都 是 仅 有 两 位 
有 效 数 字 的 实数 ,并 且 假 设 执行 两 位 精度 的 浮 点 运算 ,要求 这 些 元 素 之 和 . 

常规 的 算法 是 按 数组 存储 顺序 依次 累加 数值 ,但 它 可 能 导致 结果 有 很 大 误差 . 例如 , 假 
设 数组 中 的 数 依次 为 1.0,0.01,…,0.01( 共 99 个 相同 的 0.01) ,由 于 浮 点 计算 的 售 人 误差 ， 
按 常 规 算 法 将 得 到 结果 为 1.0, 大 大 偏离 准确 解 . 

另 一 种 算法 是 先 按 元 素 绝 对 值 递增 的 顺序 对 数组 进行 排序 ,然后 再 依次 累加 元 素 ， 对 
于 上 述 数 据 , 该 算法 的 结果 为 2.0 ,非常 接近 准确 值 . 显然 ,这 个 算法 才 是 解决 问题 的 稳定 算 
法 ,因为 它 不 太 容 易 受 计算 过 程 中 舍 入 误差 的 影响 . 国 

例 1. 8( 造 成 误差 恶性 传播 的 算法 ) : 要 计算 “黄金 分 割 ” 比 例 $= (WW5 一 1)/2 的 前 nn 个 整 
数 次 究 ( 比 如 n==20) ,假设 $ 的 值 取 其 近似 值 x 二 0. 618 034( 保 留 6 位 有 效 数 字 ). 

第 一 种 算法 是 直接 做 乘法 , 则 每 次 做 一 次 乘法 依次 得 到 尹 , 几 ,… 的 计算 值 , 第 二 种 算 
法 是 利用 下 面 的 递 推 公式 : 

$= Op 

容易 验证 这 个 递 推 公式 的 正确 性 ,而 且 采 用 这 个 算法 每 步 仅 计算 一 次 减法 ,在 运算 量 上 较 少 
一 些 . 该 递 推 算法 的 初始 值 为 x" 二 1,x' 三 0.618 034, 采 用 它 在 双 精 度 浮 点 数 系统 中 算出 的 
前 20 个 办 如 表 1-3 所 示 ( 使 用 MATLAB 得 到 ). 


表 1-3 前 20 个 容 


n 多 的 计算 值 岁 的 计算 值 
1 0.618 034 0.021 286 15 0. 000 740 
2 0. 381 966 0.013 156 16 0.000 442 
3 0.236 068 0.008 130 17 0. 000 298 
4 0.145 898 0.005 026 18 0.000 144 
5 0.090 17 0.003 104 19 0.000 154 
6 0.055 728 2 0.001 922 20 一 0.000 010 
7 0.034 442 4 0.001 182 


从 上 述 结 果 很 容易 看 出 , 业 的 计算 结果 为 负数 ,相对 误差 超过 100% ,结果 是 完全 错误 的 . 
与 直接 做 乘法 的 算法 相 比 ,第 二 种 算法 中 误差 的 增长 显然 要 剧烈 得 多 ,可 以 假设 计算 
岁 的 误差 为 ev, 则 有 误差 的 递 推 式 : 
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根据 它 可 推导 出 误差 的 传播 趋势 ; 
ez 一 一 el， 
es 一 el 一 ez 一 2ei 
@ 一 ez 一 ea 一 一 3el， 
esi 一 es 一 el 一 5el， 


如 此 算 下 去 可 得 |ex|=cle |, 其 中 ,ec 是 斐 波 那 契 (Fibonacci) 序 列 第 20 项 的 值 , 说 明 计 算 
扫 的 误差 已 经 比 g% 的 误差 放大 了 许多 倍 . 

而 采用 直接 相 乘 的 方法 时 , 随 着 寡 指 数 增 大 结果 的 误差 是 逐渐 减 小 的 (由 于 %<1) , 计 
算 如 的 误差 大 约 是 &g 的 误差 乘 以 加 (<1X10-). 对 比 两 种 算法 ,显然 第 二 种 算法 非常 不 
稳定 . 国 

在 讨论 这 个 问题 时 ,我们 没有 考虑 舍 和 误差 ,这 是 因为 采用 了 双 精 度 浮 点 数 计算 , 舍 入 
误差 已 经 非常 小 . 另外 ,由 于 多 的 值 是 输入 数据 ,实际 上 也 可 以 用 数据 传递 误差 以 及 条 件数 
来 分 析 两 个 算法 优 劣 的 区 别 ,此 时 第 二 种 算法 可 看 成 是 另 一 个 等 效 的 计算 问题 ,具体 的 分 析 
留 给 感 兴趣 的 读者 . 

分 析 算 法 的 稳定 性 时 往往 需 考 虑 计算 中 的 舍 入 误差 对 结果 的 影响 ,这 对 于 计算 步 又 成 
千 上 万 的 实际 问题 非常 困难 . 有 一 种 方法 称 为 向 后 误差 分 析 法 ,对 某 些 问题 的 算法 稳定 性 
分 析 有 效 . 下 面 给 出 向 后 误差 的 定义 . 

定义 1.10: 向 后 误差 (backward error) 是 指 假设 计算 过 程 没 有 近似 时 ,将 结果 误差 折算 
为 初始 数据 上 的 扰动 , 即 向 后 误差 是 等 效 的 初始 数据 误差 . 

以 函数 求 值 问题 为 例 , 考 虑 函数 f: RR 一 R ,x 为 函数 输入 参数 的 准确 值 , 设 y= f(x)， 
而 计算 得 到 的 近似 值 为 3. 那么 向 后 误差 为 x 二 + 一 +, 其 中 ,4 满足 (i) 二 3 向 后 误差 
Az 的 大 小 反映 了 算法 的 稳定 性 . 如 果 向 后 误差 小 , 则 说 明 计算 中 的 扰动 仅仅 等 效 为 较 小 的 
输入 数据 扰动 , 则 相应 的 算法 是 稳定 的 . 

20 世纪 60 年 代 ,Wilkinson( 威 尔 金 森 ) 利 用 向 后 误差 分 析 法 对 高 斯 消去 过 程 中 的 舍 入 
误差 进行 了 仔细 分 析 ,得 出 了 关于 高 斯 消去 法 稳定 性 的 结论 . 这 将 在 第 3 章 具 体 介 绍 . 

了 解 问题 的 病态 性 和 算法 的 稳定 性 是 非常 重要 的 ,在 本 书 的 后 续 章 节 将 结合 具体 的 问 
题 和 算法 加 以 讨论 . 对 于 实际 的 数值 计算 问题 ,往往 包括 若干 个 前 后 衔接 的 子 问题 ,如果 每 
个 子 问 题 都 是 不 敏感 的 问题 ,并 采用 稳定 的 算法 求解 ,才能 保证 最 终 解 的 准确 性 . 


1.3 ”计算 机 浮 点 数 系统 与 舍 和 误差 
计算 机 采用 有 限 字 长 的 浮 点 算术 体系 ,使 用 它 进行 数值 计算 时 会 不 可 避免 地 产生 合 信 
误差 ,本 节 对 这 方面 进行 详细 讨论 . 
1.3.1 计算 机 浮 点 数 系统 


数值 计算 考虑 的 科学 与 工程 问题 都 涉及 实数 的 各 种 运算 ,而 实际 的 计算 机 系统 只 能 用 
有 限 字 长 的 浮 点 数 (floating-point number) 来 近似 表示 实数 . 浮 点 数 以 及 它们 之 间 的 运算 
构成 了 整个 浮 点 算术 体系 . 
。 15 。 
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设 浮 点 数 系统 F 采 用 8 进 制 , 任 意 zxEF 的 浮 点 数 采用 类 似 于 科学 计数 法 的 表示 形式 


上 Sp )x pr, (1.6) 


其 中 ,整数 d; 满足 


整数 已 满足 

[Bg od A 
式 (1.6) 插 号 中 的 部 分 可 用 一 串 pp 位 8B 进 制 数字 dodi…d,-1 表 示 , 称 为 尾数 ,其 中 ， 
dids…ds-1 部 分 称 为 小 数 . EE 称 为 浮 点 数 z 的 指数 . 在 计算 机 中 , 正 负 号 、 指 数 、 尾 数 都 存储 
在 浮 点 数 的 不 同 域 中 ,每 个 域 有 固定 的 长 度 . 实际 的 浮 点 数 系统 都 是 规范 化 的 , 即 除了 > 一 
0 的 其 他 情况 下 首位 数字 do 关 0, 这 使 得 尾数 mm 满足 1 三 m 二 B. 对 浮 点 数 系统 进行 规范 化 具 
有 下 述 好 处 . 

(1) 使 数 的 表示 方法 唯一 . 

(2) 使 得 p 位 尾数 都 是 有 效 数字 ,因此 数 的 表示 精度 最 大 化 . 

(3) 在 二 进 制 系统 中 (8 二 2) ,一 定 有 do 二 1, 不 需要 存储 ,该 位 用 于 表示 数 的 正 负 号 ,成 
为 “符号 位 ”. 

根据 式 (1.6) 以 及 规范 化 技术 ,一 个 规范 化 的 浮 点 数 系统 由 4 个 整数 完全 确定 : 基数 
(或 底数 )B、 尾 数 长 度 (或 精度 )p、 指 数 下 限 值 L 和 上 限 值 U， 在 不 加 说 明 的 情况 下 ,下 面 都 
讨论 规范 化 浮 点 数 系统 . 

从 理论 上 讲 , 不 同 的 计算 机 可 以 给 上 述 4 个 参数 赋予 不 同 的 值 ,从 而 得 到 不 同 的 浮 点 数 
系统 . 在 计算 机 发 展 的 早期 ,有 的 计算 机 使 用 二 进 制 ,有 的 使 用 十 进 制 , 甚 至 还 有 一 种 前 苏 
联 的 计算 机 使 用 三 进 制 . 而 在 二 进 制 计算 机 中 ,有 些 使 用 2 为 基数 ,有 些 使 用 8 或 16 ,并 且 
各 自用 不 同 的 精度 来 表示 数 . 1985 年 ,美国 国家 标准 局 和 IEEE 标准 委员 会 为 二 进 制 浮 点 
数 体系 共同 颁布 了 ANSI/IEEE 754-1985 号 标准 . 这 个 标准 文件 是 来 自 大 学 、 计 算 机 制造 
商 、 微 处 理 器 公司 的 92 位 数学 家 、 计 算 机 科学 家 和 工程 师 组 成 的 工作 组 历时 十 年 工作 的 结 
唱 . 表 1-4 列 出 了 包括 早期 的 一 些 典 型 浮 点 数 系统 的 参数 ,由 这 些 参数 的 值 或 范围 可 以 知 
道 浮 点 数 的 二 进 制 字 长 . 

表 1-4 典型 浮 点 数 系统 的 参数 


浮 点 数 系统 p 天 U 
IEEE 单 精 度 24 一 126 127 
IEEE 双 精 度 53 一 1022 1023 
Cray 计算 机 48 一 16 383 16 384 
HP 计算 器 内 一 499 499 
一 种 IBM 大 型 机 6 一 64 63 


IEEE 标准 定义 了 单 精 度 和 双 精 度 两 种 浮 点 数 系统 . 从 表 1-4 可 以 看 出 ,IEEE 单 精 度 
系统 表示 一 个 浮 点 数 需 32 个 二 进 制 位 ,而 一 个 双 精 度 浮 点 数 需 64 个 二 进 制 位 ,所 以 我 们 常 
说 ,一 个 单 精度 浮 点 数 占 4B( 字 节 ) 的 存储 空间 ,一 个 双 精 度 浮 点 数 占 8B. 1985 年 以 后 的 计 
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算 机 都 使 用 IEEE 标准 的 浮 点 算术 体系 ,虽然 在 这 个 标准 框架 下 还 允许 少量 的 变化 ,但 它 形 
成 了 一 个 与 具体 计算 机 类 型 无 关 的 统一 浮 点 数 模型 ,有 利于 数值 计算 的 研究 和 可 靠 、 可 移植 
软件 的 开发 . 此 外 ,精心 设计 的 IEEE 标准 还 合理 地 处 理 了 某 些 特殊 情况 ,例如 , 它 定义 了 
下 面 两 个 特殊 值 . 

(1) Inf: 表示 无 穷 ,由 有 限 数 被 零 除 产生 ,如 1/0. 

(2) NaN: 表示 不 是 数 (not a number) ,由 没有 定义 或 不 确定 的 操作 产生 ,如 0/0， 
0x Inf,Inf/Inf. 

这 两 个 特殊 值 以 及 0 都 是 通过 特殊 的 指数 域 取 值 实现 的 . 

任何 一 个 浮 点 数 系 统 中 表示 的 数 都 是 有 限 个 离散 的 数 ,根据 公式 (1.6) 可 计算 出 一 个 
浮 点 数 系统 能 表示 的 数 的 个 数 . 正 负 号 有 两 种 选择 ,尾数 的 首位 有 8 一 1 种 选择 ,其 他 
了 一 1 位 都 有 有 8 种 选择 ,指数 可 能 取 U 一 工 十 1 个 值 ,最 后 加 上 零 , 规 范 化 浮 点 数 的 总 个 数 为 
(8= 区 人 (U=L1+1. 

定义 1.11: 一 个 浮 点 数 系统 中 ,最 小 的 正 数 称 为 下 溢 值 Cunderflow level, UFL). 

定义 1.12: 一 个 浮 点 数 系统 中 ,最 大 的 正 数 称 为 上 溢 值 (Coverflow level,OFL). 

显然 ,最 小 的 正 数 为 8, 它 对 应 的 尾数 为 1 ,指数 为 最 小 值 工 . 因此 下 溢 值 

UFL = B*. 
若 取 尾 数 的 每 一 位 都 为 8 一 1, 且 指数 为 最 大 值 U, 则 得 到 上 溢 值 
OFL = pur(1— 8?). 
任何 超过 OFL 的 数 都 不 能 用 浮 点 数 表示 ,而 小 于 UFL 的 正 数 也 无 法 表示 . 对 于 IEEE 单 
精度 和 双 精 度数 ,OFL 和 UFL 的 值 ( 取 4 位 有 效 数 字 ) 列 于 表 1-5. 
表 1-5 IEEE 浮 点 数 系统 中 的 几 个 关键 数值 


IEEE 单 精 度 3. 403X 1038 L175X LOT 5.960X10-8 
IEEE 双 精 度 .797 2.925X 10 L110 Lo 


浮 点 数 系 统 中 这 些 离散 的 值 并 不 是 均匀 间隔 的 ,但 在 8 的 相 邻 办 之 间 ( 即 及 与 后 之 
间 ) 是 等 间距 的 ,下面 举例 说 明 这 一 点 . 

例 1.9( 浮 点 数 系 统 ): 考虑 一 个 简单 的 浮 点 数 系统 ,其 中 ,8 二 2,p 二 3,L 1,U 一 1， 
图 1-3 标 出 了 这 个 系统 中 所 有 的 25 个 浮 点 数 . 对 这 个 系统 ,最 大 的 浮 点 数 OFL = 
(1.11); X2! 二 (3.5)w ,最 小 的 正 浮 点 数 为 UFL 二 (1.00); X27! 二 (0.5)w. 这 里 , 数 的 下 标 
表示 二 进 制 或 十 进 制 . 此 外 ,可 以 观察 到 浮 点 数 不 是 等 间隔 分 布 的 ,但 在 相 邻 的 2 的 整数 次 


寡 之 间 , 浮 点 数 呈 均匀 分 布 . 这 是 一 般 的 浮 点 数 系统 都 具有 的 特点 . 图 
02 21 22 
1 1 1 
HH 


-4 -3 -2 -1 0 1 2 
图 1-3 一 个 简单 的 浮 点 数 系 统 ,8 二 2,p 二 3,L 二 一 1,U 二 1 


在 例 1.9 中 ,可 以 看 到 零 与 它 附 近 的 浮 点 数 间隔 较 大 ,这 是 由 规范 化 造成 的 . 由 于 尾数 
最 小 为 1. 00… ,指数 最 小 为 L, 所 以 零 和 Br" 之 间 不 可 能 有 浮 点 数 . IEEE 标准 中 定义 了 一 种 
人 
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次 规范 化 规则 ,使 得 零 和 8p" 之 间 的 数 得 以 表示 . 次 规范 化 放松 了 规范 化 的 限制 ,在 指数 取 最 
小 值 的 情况 下 允许 尾数 的 首位 为 零 ,这 样 零 周围 的 间断 就 可 以 被 新 增 的 浮 点 数 填充 对 于 
例 1.9 中 的 系统 ,采用 次 规范 化 得 到 新 系统 包含 的 浮 点 数 如 图 1-4 所 示 . 

新 增 的 浮 点 数 


本 二 一 上 上 上 HH 升天 HH 上 HH 
一 4 -3 一 2 一 1 0 1 2 3 4 
3， 


图 1-4 次 规范 化 的 浮 点 数 系统 ,8 一 2,2 一 


L== IU=1 


IEEE 标准 中 的 次 规范 化 的 机 制 使 得 下 溢 值 变 小 ,这 种 现象 也 称 为 浙 进 下 溢 . 此 外 ,次 
规范 化 虽然 增加 了 所 表示 数 的 范围 ,但 新 增加 的 数 的 精度 要 低 于 其 他 浮 点 数 ,因为 它们 的 有 
效 数字 较 少 , 


1.3.2 舍 入 与 机 器 精度 


能 在 浮 点 数 系统 中 精确 表示 的 实数 称 为 机 器 数 . 如 果实 数 工 不 是 机 器 数 , 则 在 计算 机 
中 须 用 某 个 邻近 的 浮 点 数 来 近似 它 ,这 个 近似 数 记 为 {1(z), 而 近似 的 过 程 称 为 会 入 
(rounding) ,所 产生 的 误差 称 为 舍 入 误差 . 有 两 种 常用 的 舍 和 原则. 

(1) 截断 舍 入 : 先 将 xz 表示 成 B 进 制 数 的 形式 (如 式 (1.6)), 然 后 将 第 4d,-1 之 后 的 尾数 
截 去 . 按 这 种 舍 入 规则 ,在 数 轴 上 flCz) 和 0 处 于 xz 的 同一 侧 , 并 且 {1(z) 是 在 该 侧 最 接近 
工 的 浮 点 数 , 因 此 ,这 种 舍 入 规则 也 称 为 “向 零 舍 入 法 ”. 

(2) 最 近 舍 人 : {L(x) 是 与 x 最 接近 的 浮 点 数 . 如 果 工 左右 两 侧 最 近 的 浮 点 数 与 z 的 距离 相 
同 , 则 一 般 取 最 后 一 位 数字 为 偶数 的 那个 .出 于 这 个 原因 ,这 种 舍 入 规则 也 称 为 “偶数 合 入 法 ”. 

例 1.10( 最 近 舍 入 规则 的 特殊 情况 ): 考虑 例 1.9 中 的 简单 浮 点 数 系统 ,其 中 ,尾数 为 
3 位 二 进 制 数 ,按照 最 近 舍 入 规则 x 二 (1. 625)w 对 应 的 机 器 数 是 多 少 ? 

【 解 】 由 于 (1.11)s 二 (1.75)w,(1.10), 二 (1.5)w ,两 者 与 x 的 距离 相同 ,根据 最 近 含 
入 规则 ,fl(x) 三 (1.10), 以 符合 最 后 一 个 存储 位 为 偶数 的 规定 . 图 

例 1.11( 两 种 舍 入 规则 ): 用 介绍 的 两 种 舍 入 规则 将 下 列 十 进 制 数 会 入 到 两 位 ,结果 如 
表 1-6 所 示 。 


表 1-6 两 种 舍 入 规则 举例 


最 近 舍 信 


从 例 1.10、 例 1.11 可 以 看 出 ,最 近 舍 和 人 规则 与 人 们 通常 说 的 “四 舍 五 人 ”差不多 , 它 比 
截断 舍 入 更 准确 . 截断 舍 人 主要 在 早期 的 浮 点 数 系 统 中 使 用 ,目前 的 计算 机 几乎 都 采用 最 
近 舍 人 , 它 也 是 IEEE 标准 中 的 默认 舍 和 信 规则. 因此 ,在 不 加 说 明 的 情况 下 本 书后 面 内 容 都 
遵循 最 近 舍 入 规则 . 

在 数值 计算 中 与 舍 和 类似 的 一 种 近似 发 生 在 数 的 输入 和 输出 过 程 中 . 输入 输出 数据 通 

。 1]18 。 
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常 都 是 十 进 制 形 式 ,而 有 限 位 的 十 进 制 数 表示 成 二 进 制 时 可 能 成 为 无 限 位 循环 小 数 , 因 此 ， 
将 它 转换 为 计算 机 内 部 使 用 的 二 进 制 浮 点 数 时 会 产生 误差 . IEEE 标准 没有 对 这 种 转换 算 
法 加 以 规定 ,但 Netlib 程序 库 中 提供 了 一 种 有 效 的 、 可 移植 的 二 进 制 、 十 进 制 浮 点 数 转换 程 
序 (dtoa 和 strtod). 

浮 点 运算 系统 的 精度 往往 用 机 器 精度 (machine precision 或 machine epsilon) 来 刻画 . 

定义 1.13: 一 个 浮 点 数 系统 的 机 器 精度 记 为 ewer , 它 是 满足 {1(1 十 e) 记 1 的 e 的 下 确 
界 , 即 : 

Ena = inf{estl(l $e) 1} CL 人 
考虑 最 近 舍 入 规则 ,有 
Emach 一 了 8 

若 采 用 截断 含 人 , 则 swu 一 厅 

在 1.3.1 节 的 表 1-5 中 ,也 列 出 了 IEEE 单 精度 和 双 精 度 浮 点 数 的 sea. 机 器 精度 是 一 
个 非常 重要 的 指标 . 考虑 以 式 (1.6) 的 形式 表示 的 非 零 实 数 z, 则 sme 为 指数 下 =0 的 实数 x 
转化 为 浮 点 数 {1(x) 的 绝对 误差 上 限 . 对 一 般 的 实数 z, 则 机 器 精度 是 将 x 用 浮 点 数 表 示 的 
相对 误差 上 限 . 

定理 1.5: 在 规范 化 的 浮 点 数 系统 中 表示 非 零 实数 zx, 其 相对 误差 限 是 emo, 即 : 


flCz) — x 
le) | < em。 
rs 


定理 1.5 可 以 通过 定理 1.2 来 证 明 , 只 需 将 其 中 的 十 进 制 改 为 B 进 制 . 

有 时 候 , 机 器 精度 也 定义 为 从 1 到 下 一 个 比 它 大 的 浮 点 数 的 距离 (例如 ,MATLAB 软 
件 中 的 eps 常数 ) , 它 与 定义 式 (1.7) 的 含义 不 完全 相同 ,正好 是 最 近 舍 人 规则 下 snm 值 的 两 
倍 . 无 论 如 何 , 机 器 精度 都 是 度量 浮 点 数 之 间 间 隔 大 小 的 一 个 量 . 


单 精度 的 emo — X21 二 2 “0.6X107", 它 体现 了 用 单 精 度 浮 点 数 表示 实数 的 相 


对 误差 上 限 . 根据 定理 1. 4, 单 精度 浮 点 数 大 约 有 7 位 正确 的 有 效 数字 . 对 双 精 度 浮 点 数 也 
可 做 类 似 分 析 , 双 精度 的 snms0.11 义 10 , 则 双 精 度 浮 点 数 有 15 位 正确 的 有 效 数字 . 
虽然 机 器 精度 和 下 溢 值 都 是 很 小 的 量 , 但 不 能 把 它们 混为一谈 .机 器 精度 sm 由 浮 点 
数 系统 尾数 域 的 位 数 决定 ,而 下 溢 值 UFL 主要 由 指数 域 的 位 数 决定 . 在 实用 的 浮 点 数 系统 
中 ,UFL、OFL 和 sm 这 3 个 特征 量 的 关系 为 
0.< UEL < en ORL 


1.3.3 浮 点 运算 的 舍 入 误差 
两 个 浮 点 数 相 加 减 时 ,需要 让 它们 的 指数 相等 ,然后 用 尾数 进行 加 减 运算 ,如 果 指 数 不 
相等 ,必须 将 其 中 较 小 的 数 的 尾数 缩小 以 使 两 个 数 的 指数 值 匹配 .缩小 尾数 相当 于 在 存储 
字 节 内 将 数据 右 移 ,造成 有 效 数字 位 数 的 减少 ,使 得 计算 结果 不 准确 .考虑 极端 情况 , 若 缩 
小 后 的 尾数 小 于 机 器 精度 , 则 它 对 加 减 运 算 结果 将 不 再 产生 影响 ， 下 面 的 定理 说 明了 这 种 
情况 ,详细 的 证 明 留 给 感 兴趣 的 读者 思考 (利用 二 进 制 版 本 的 定理 1. 4, 将 zs 看 成 是 误差 ). 
定理 1.6: 设 两 个 实数 mm,zmER , 若 | 到 | 二 二。 , 则 在 IEEE 浮 点 数 体 系 中 对 它们 做 


并 2 
Xl 
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相 加 或 相 减 运算 时 ,zs 的 值 对 计算 结果 毫 无 影响 . 换 句 话说 , 当 两 个 数 的 大 小 相差 非常 悬 
殊 时 , 较 小 的 数 的 信息 将 完全 丢失 . 

两 个 浮 点 数 的 相 乘 不 需要 让 指数 匹配 ,只 是 简单 地 进行 指数 相 加 、 尾 数 相 乘 . 但 一 般 情 
况 下 ,两 个 p 位 尾数 的 乘积 有 2p 位 数字 ,所 以 结果 不 能 用 p 位 精确 表示 ,必然 要 对 末尾 的 
若干 位 数字 进行 舍 和 信 . 两 个 p 位 浮 点 数 相 除 的 结果 也 可 能 超过 p 位 ,甚至 有 无 穷 多 位 . 因 
此 ,除法 的 结果 也 需要 经 过 舍 人 才能 在 计算 机 中 表示 . 

例 1.12( 浮 点 运算 ): 考虑 6 位 尾数 的 十 进 制 浮 点 数 (B8 二 10,p 二 6),x 二 1.235 07X103， 
3y 一 5.432 19X107, 则 浮 点 加 的 结果 为 x 十 y 二 1.235 61X10 ,这 里 y 的 最 后 三 位 对 结果 没 
有 影响 . 类 似 地 , 浮 点 乘 的 结果 为 xz， y 二 6.709 13X10”, 这 个 结果 将 准确 结果 中 后 一 半 的 
位 数 都 丢掉 了 . 国 

1 和 10 都 可 以 用 二 进 制 浮 点 数 精确 表示 ,但 它们 的 商 1/10 则 是 一 个 二 进 制 的 无 限 循 
环 小 数 : 

证 二 271X (1 去 十 去 十 吉 十 南 十 ……) 
尾数 中 除 第 1 位 是 1 ,后 续 位 上 的 值 是 重复 的 1,0,0,1. 

在 上 面 的 这 些 情 形 中 ,由 于 浮 点 系统 的 有 限 精 度 使 得 准确 的 结果 不 能 被 完全 表示 ,因此 
造成 误差 . 另外 还 有 一 类 情况 是 计算 结果 超出 了 系统 的 范围 (上 溢 或 下 溢 ) ,相应 的 实数 也 
不 能 被 精确 表示 . 由 于 非常 小 的 数 可 以 用 零 来 近似 ,因此 上 溢 往 往 是 比 下 游 更 严重 的 问题 . 
很 多 实际 的 计算 机 系统 都 会 把 上 溢 作 为 严重 错误 而 中 止 程序 ,而 发 生 下 溢 时 则 直接 把 结果 
设 为 零 ,不 影响 程序 运行 . 

我 们 用 op 表示 加 、 减 、 乘 \ 除 这 样 的 实数 运算 ,而 flop 代表 在 浮 点 算术 体系 下 相同 的 运 
算 . 在 理想 情况 下 ,我 们 希望 浮 点 运算 满足 : 

x flop y= f(x opy)， LS 
即 浮 点 运算 的 误差 仅 发 生 在 将 准确 结果 舍 入 为 浮 点 数 这 一 步 . 实际 上 ,只 要 操作 数 zx 和 
y 在 浮 点 数 表 示范 围 内 ,在 符合 IEEE 浮 点 数 标准 的 计算 机 中 一 般 都 可 以 达到 这 种 理想 情 
况 . 在 不 至 于 发 生 混淆 的 情况 下 ,下 面 用 函数 fl(。) 表 示 一 个 数学 运算 式 在 浮 点 运算 体系 
中 的 计算 结果 . 

注意 ,公式 (1. 8) 反 映 的 仅仅 是 一 次 浮 点 运算 的 情况 ,实际 的 问题 中 往往 有 成 千 上 万 次 
这 样 的 计算 ,最 终结 果 的 误差 情况 绝 不 会 这 么 理想 . 此 外 , 浮 点 加 和 浮 点 乘 满足 交换 律 ,但 
不 满足 结合 律 , 因 此 运算 顺序 不 同 ,计算 结果 的 舍 入 误差 也 不 同 . 

例 1.13( 浮 点 运算 不 满足 结合 律 ): 假设 过 是 一 个 略 小 于 机 器 精度 的 正 浮 点 数 , 则 在 
浮 点 运算 体系 下 fl((1 十 z) 十 z) 王 1, 但 fl 十 (z 十 z)) 之 1. 国 

由 于 一 般 计 算 机 都 满足 式 (1. 8) ,而 定理 1.5 说明 用 浮 点 数 表示 实数 的 相对 误差 上 
限 是 ew ,所 以 单 次 加 \ 减 、 乘 \ 除 运算 满足 

fl(x op y) = (x op y) (1++0), 
其 中 ,计算 的 相对 误差 满足 16| 三 ewwm. 可 以 根据 这 个 公式 ,讨论 一 些 简单 问题 的 舍 入 误差 . 

例 1.14( 舍 入 误差 分 析 ): 考虑 x(y 十 x) 的 舍 和 误差. f(y 十 x) 二 (y 十 xz) (1 十 1), 其 中 ， 
|61 | 二 ewwon ;因此 ， 

Hz(y 十 z)) 一 (z。fly 十 z))(1 十 9) 其 中 ,| 2 | 过 emma 
。 20 。 
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(rs(y 十 z)CL 十 2)DCL 二 2) 
二 X(y 十 2)(1 十 人 十 6 十 6016;) 
LL 
二 xXx(y 十 z)(1 十 6)， 
其 中 ,6 二 6 十 6 ,16| 二 2ewzen. 因此 ,x(y 十 z) 的 舍 人 误差 限 为 2ewwoo. 图 
从 例 1.14 可 以 看 出 ,这 种 误差 估计 比较 悲观 . 如 果 6 和 6 的 正 负 号 正好 相反 , 则 整体 
误差 不 会 超过 ewsew. 利用 上 述 类 似 的 方法 可 以 分 析 更 复杂 的 计算 ,当然 最 后 估计 结果 中 
emach 前 的 倍数 会 更 大 (这 也 是 向 前 误差 分 析 的 缺点 ). 在 实际 计算 中 ,考虑 到 eo 的 值 非常 
小 ,步骤 不 是 特别 多 的 计算 过 程 的 舍 入 误差 一 般 不 会 很 大 . 


1.3.4 抵消 现象 


除了 舍 信 , 浮 点 算术 系统 的 另 一 个 重要 问题 是 抵消 (cancellation). 两 个 符号 相同 、 值 相 
近 的 pp 位 数 相 减 可 能 使 结果 的 有 效 数 字 远 少 于 p 位 . 称 这 种 现象 为 抵消 . 

例 1.15( 抵 消 现 象 ): 有 两 个 十 进 制 的 6 位 精度 数 ,z 王 1.923 05X10’ ,y 一 1.921 37X103， 
则 z 一 y 王 1.68. 这 一 步 减 法 计算 过 程 中 未 发 生 售 人 ,但 它 的 结果 却 仅 有 3 位 有 效 数 字 .， 国 

尽管 发 生 抵消 现象 时 的 减法 计算 是 精确 的 ,但 考虑 到 操作 数 本 身 带 有 误差 ,其 计算 结果 
必然 有 误差 . 在 这 种 情况 下 ,结果 的 有 效 数字 位 数 很 少 意味 着 结果 的 相对 误差 可 能 非常 大 . 
换 句 话说 ,由 于 前 面 误差 的 积累 操作 数 的 后 几 位 通常 是 不 准确 的 ,而 抵消 使 得 操作 数 前 几 位 
的 信息 丢失 ,因此 计算 结果 中 仅 包 含 了 不 准确 的 操作 数 后 几 位 所 表示 的 信息 . 这 将 使 得 到 
的 结果 的 相对 误差 很 大 ,进而 使 后 续 计 算 更 加 不 准确 . 因此 ,应 将 抵消 现象 看 成 是 发 生 信息 
丢失 ,计算 数据 误差 变 大 的 信号 . 

舍 和 人 是 丢弃 末尾 数位 上 的 数字 ,而 抵消 丢失 的 是 高 位 数字 包含 的 信息 ,从 这 个 角度 上 看 
抵消 带 来 的 影响 比 舍 入 大 得 多 . 因此 通常 不 用 两 个 大 数 的 差 来 得 到 小 数 ,因为 抵消 将 使 得 
操作 数 上 的 误差 在 结果 中 占 主导 地 位 . 下 面 的 实际 例子 进一步 解释 了 抵消 的 数值 危害 . 

例 1.16( 计 算 e* 时 出 现 的 抵消 ): 当 xz 过 0, 且 |zx| 较 大 时 ,利用 公式 


TT mm 到 ne. 
1 


截断 前 ”项 计算 e* ,会 发 生 严重 的 抵消 ,使 数值 结果 误差 很 大 . 由 于 |x| 较 大 , 则 前 若干 项 的 
求 和 式 ( 部 分 和 ) 中 每 一 项 的 绝对 值 都 远大 于 准确 结果 , 当 按 自然 顺序 逐 项 累加 到 部 分 和 上 
时 ,每 次 计算 都 是 将 两 个 较 大 但 符号 相反 的 数 作 加 法 (等 价 于 符号 相同 的 数 相 减 ), 因 此 造成 
抵消 ， 随 着 舍 入 误差 的 逐渐 积累 ,将 可 能 远大 于 准确 结果 ,使 得 结果 完全 错误 . 下 面 以 
MATLAB 中 的 计算 结果 加 以 说 明 . 

假设 x= 一 20, 前 nn 项 求 和 的 计算 值 为 S, (xz). 随 着 逐 项 累加 的 过 程 ,发 现 Soe (x) 一 
5. 621 88X10 习 ,此 时 下 一 步 加 的 项 为 xz”*”/961 二 7. 989 30X10-”, 它 与 Ss (xz) 的 比值 已 经 
小 于 于 sn 根据 定理 1. 6 ,后 续 的 求 和 运算 都 不 会 改变 部 分 和 的 计算 值 ,因此 ,e ”的 计算 
值 为 5. 621 88X10-"( 仅 显示 6 位 有 效 数 字 ) ,而 e 2 的 准确 值 为 2.061 15X10" ,说 明 计算 
结果 完全 错误 . 

当 z>>0 时 ,上 述 求 和 式 中 每 项 都 大 于 0, 不 会 有 抵消 现象 ,计算 是 稳定 的 . 例如 , 当 x= 

。2] 。 
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20 时 ,计算 前 68 项 后 结果 将 不 再 变化 ,部 分 和 为 S6s (z) 王 4.851 65X10 ,与 准确 值 完全 一 
样 . 因此 ,对 于 z<0 的 情况 ,通过 公式 1/e “计算 e* 是 有 效 、 可 行 的 算法 . 国 


1.4 保证 数值 计算 的 准确 性 
本 节 先 从 减 小 伟人 误差 的 角度 给 出 几 条 建议 ,然后 讨论 如 何 保证 计算 结果 的 准确 性 ， 


1.4.1 减少 舍 入 误差 的 几 条 建议 


实际 的 数值 计算 中 , 浮 点 运算 的 次 数 往往 成 千 上 万 ,通过 分 析 每 一 步 计算 的 舍 人 误 
差 来 评价 最 终结 果 的 舍 入 误差 显然 是 不 切实 际 的 ,而 且 简 单 地 考虑 每 步 的 最 坏 情 况 会 
使 对 最 终结 果 的 估计 过 于 悲观 . 下 面 给 出 几 条 减 小 舍 和 人 误差 的 建议 ,并 通过 具体 实例 
加 以 说 明 . 在 数值 算法 设计 和 编写 程序 时 ,有 意识 地 遵循 它们 ,就 有 可 能 将 舍 入 误差 的 
影响 降 到 最 低 . 

1. 避免 中 间 计 算 结 果 出 现 上 溢 或 下 溢 

上 溢 和 下 游 主要 在 做 乘 、 除 法 运算 中 出 现 . 多 个 很 大 的 数 相 乘 可 能 导致 上 溢 ,很 小 的 数 
相 乘 可 能 导致 下 溢 , 类 似 的 极端 情况 在 做 除法 运算 时 也 可 能 发 生 . 下 面 举 一 个 简单 的 例子 
说 明 如 何 避 免 中 间 结 果 上 溢 . 

例 1. 17( 避 免 中 间 结 果 上 浇 ) : 计算 分 式 

Xl 
> 一 Er EA 

其 中 xz 比 zx 小 很 多 , |x /zz |3.403X10%. 采用 单 精度 浮 点 数 计算 zi /zz 会 发 生 上 溢 . 一 般 情 
况 下 ,y 的 准确 结果 不 会 超出 上 洪 值 . 为 避免 上 溢 ,应 先 计算 分 母 的 值 = 二 zx。， xz，…。， ,然后 
计算 y= /z. 国 

在 实际 的 计算 中 ,首先 应 对 各 个 操作 数 的 大 小 有 大 体 的 了 解 ,然后 通过 调整 计算 次 序 避 
免 可 能 出 现 的 上 洲 和 下 溢 . 

2. 避免 “大 数 吃 掉 小 数 ” 

“大 数 吃 掉 小 数 ? 是 一 种 形象 的 说 法 , 它 是 指 在 做 加 ` 减 运算 时 , 若 两 个 操作 数 大 小 相差 
悬殊 , 较 小 数 的 信息 将 被 较 大 的 数 “ 淹 没 ”. 前 面 的 例 1. 13 说 明 的 就 是 这 种 情况 ,定理 1.6 
也 给 出 了 相关 的 结论 . 一 旦 “大 数 吃 掉 小 数 ” 情 况 发 生 多 了 ,必然 造成 很 大 的 计算 误差 . 下 


面 再 看 一 个 例子 . 
例 1. 18( 级 数 求 和 ) : 在 浮 点 算术 系统 中 计算 
Si 
分 析 会 得 到 什么 结 


如 果 精 确 计算 ,这 个 无 穷 级 数 的 和 是 发 散 的 ,但 在 浮 点 算术 系统 中 不 是 这 样 . 粗略 分 
析 ,进行 有 限 精 度 计算 可 能 会 : 四 部 分 和 非常 大 并 发 生 上 溢 , 即 达到 OFL; @1/n 逐渐 变 小 
并 产生 下 溢 ,因此 部 分 和 结果 不 变化 . 但 通过 实验 可 以 发 现 ,在 达到 上 述 两 种 情形 之 前 计算 


结果 就 不 再 变化 了 . 这 是 因为 ,一 旦 增加 量 1/n 与 部 分 和 》) 艺 的 值 相差 悬殊 ,它们 的 和 就 


全 
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停止 变化 了 ,因此 得 到 的 计算 结果 是 有 限 值 . 根据 定理 1.6 可 粗略 估计 何 时 发 生 上 述 现象 ， 
当 结 果 值 停止 变化 时 ， 


二 二 二 0》 二. 国 


因此 在 浮 点 数 运算 时 ,要 尽量 避免 对 数量 级 相差 悬殊 的 两 个 数 进行 加 减 运 算 . 解决 此 
问题 的 办 法 主要 是 调整 运算 次 序 ,避免 发 生 “ 大 数 吃 掉 小 数 "情况 . 

3. 避免 符号 相同 的 两 相近 数 相 减 

在 1.3.4 节 详细 介绍 了 抵消 现象 及 其 带 来 的 数值 危害 ,为 防止 出 现 抵消 现象 ,应 尽量 避 
免 符号 相同 的 两 相近 数 相 减 . 下 面 再 举 两 个 例子 . 

例 1. 19( 二 次 方程 求 根 公式 ) : 一 元 二 次 方程 

azx: 二 tw 二 c= 二 0 

的 两 个 根 可 由 求 根 公 式 


一 


一 0 士 Vb — 4ac 
2a 


给 出 ， 如 果 4ac 相对 于 06? 来 说 很 小 , 则 一 5 十 VW 一 4ac 会 发 生 抵 消 现象 (不 妨 设 5 二 0). 此 
时 可 采用 公式 
2 
一 0 一 VD — 4ac 
计算 其 中 一 个 根 ,避免 了 一 5 十 VF 一 4ac 的 抵消 现象 . 若 0<0, 则 一 0 一 VF 一 44ac 会 发 生 抵消 现 
象 ,也 可 通过 类 似 地 改造 公式 加 以 避免 .例如 ,用 十 进 制 计算 二 次 方程 的 根 , 取 4 位 有 效 数 字 ， 
系数 a 二 0.050 10,0 王 一 98.78,c 王 5.015. 为 了 比较 , 先 给 出 具有 10 位 有 效 数 字 的 精确 根 
1971.605 916 ”和 ， 0.050 770 693 87. 
用 4 位 有 效 数字 运算 计算 判别 式 , 得 
b—4ac 一 9757 一 1.005 = 9756， 


一 


所 以 
Vb — 4ac 一 98.77， 
这 样 由 求 根 公 式 得 到 的 两 个 根 为 


98.78 二 98.77 - 


这 个 结果 中 ,第 一 个 根 的 4 位 数字 都 是 正确 的 ,但 第 二 个 根 完 全 错 了 (误差 约 为 100%). 第 

二 个 根 出 错 的 原因 是 发 生 了 抵消 ,使 得 减法 的 结果 只 含 舍 人 误差 信息 . 用 另 一 个 求 根 公式 
10. 03 

98.78 十 98.77 


它 的 4 位 数字 都 是 准确 的 . 国 
此 外 ,二 次 方程 求 根 公式 中 平方 根 内 的 抵消 是 不 容易 避免 的 ,此 时 只 能 采用 更 高 的 计算 


一 0.05077， 


精度 . 
例 1.20( 标 准 差 的 计算 ): 有 限 实 数 序列 zi (i 二 1,…,n) 的 均值 由 


a 


7 这 
i 
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定义 ,标准 差 由 
让 加 1/2 
= psp = 


定义 . 直接 利用 以 上 公式 计算 标准 差 需要 遍历 数据 两 次 ,一 次 计算 出 均值 , 男 一 次 计算 出 标 
准 差 . 为 了 减少 遍历 数据 次 数 ,提高 计算 效率 ,可 用 等 价 的 下 述 公 式 计 算 标准 差 


1/2 
[he 

采用 该 公式 ,对 离散 数据 只 需 遍 历 一 次 就 可 以 计算 出 数据 的 和 以 及 平方 和 ,进而 算出 标准 
差 . 然而 在 采用 遍历 一 次 的 公式 时 ,发 生 抵消 所 产生 的 危害 往往 比 原始 公式 发 生 抵消 的 危 
害 大 ,因为 前 者 (只 遍历 一 次 的 公式 ) 相 减 的 两 个 量 一 般 比 较 大 而 且 很 相近 ,从 而 使 更 多 的 有 
效 数 字 丢失 ,使 得 结果 的 相对 误差 较 大 . 国 

4. 注意 简化 步骤 ,减少 运算 次 数 

求解 一 个 问题 通常 有 多 种 数学 方法 和 具体 算法 ,如 果 其 中 某 种 算法 能 减少 计算 次 数 ,不 
但 可 节省 计算 机 的 计算 时 间 , 而 且 通 常 也 能 减少 舍 和 误差 的 影响 .追求 较 小 的 算法 计算 复 
林 度 实际 上 也 是 数值 计算 的 重要 研究 内 容 ， 下 面 举 一 个 例子 . 

例 1.21( 多 项 式 函 数 求 值 的 算法 ) : 计算 多 项 式 

P,(x) =aoxr’ 二 aiz™ 十 十 CI 十 0 


的 值 , 若 直接 计算 wz" 再 逐 项 相 加 ,一 共 需 要 》)i 二 全 5 次 乘法 和 次 加 法 .一 种 简 
单 的 改进 是 采用 下 述 算法 . 


算法 1.1: 计算 多 项 式 P,(x) 的 算法 . 
输入 : zx, 多 项 式 系 数 aui (i 二 0,…,n); 输出 : P, (x). 
OC: a 
For i=1,2,."…,n 
GR: Or 
End 
P(x) :=6. 


在 上 述 算法 描述 中 ,“ :三 ”表示 赋值 操作 . 这 个 改进 算法 只 要 nn 次 乘法 和 nn 次 加 法 即 
可 算出 P,(x) 的 值 , 此 算法 也 称 为 秦 九 部 算法 ,最 早 由 我 国 宋 代数 学 家 秦 九 间 于 1247 年 
提出 了 . 国 


1.4.2 影响 结果 准确 性 的 主要 因素 


先 以 函数 求 值 问题 为 例 回顾 问题 的 敏感 性 、 算 法 的 稳定 性 和 计算 误差 等 主要 概念 ,然后 
总 结 影响 结果 准确 性 的 主要 因素 . 
考虑 计算 函数 值 f(x) 的 问题 ,输入 数据 和 结果 的 准确 值 的 对 应 关系 为 
T= f(T. 


@ 该 算法 在 国外 称 为 Hernor 算 法 ,1819 年 才 被 提出 . 
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由 于 初始 数据 的 误差 ,实际 计算 时 使 用 的 输入 为 过 , 若 假设 计算 过 程 完全 精确 , 则 得 到 函数 
值 为 /2) , 它 与 准确 值 f(x) 的 差别 反映 了 问题 的 敏感 性 ,通过 条 件数 的 概念 来 定量 刻画 . 

同样 是 这 个 问题 ,再 进一步 考虑 实际 计算 采用 的 算法 及 计算 过 程 中 的 误差 . 假设 有 两 
个 算法 ,分别 得 到 如 下 结果 : 


算法 1; 元 二-FG2z)， 


算法 2: 4 人 > 了 (2). 

结果 f(z) 和 f(z) 的 差别 是 由 于 算法 的 不 同 造成 的 ,而 它们 误差 的 大 小 则 反映 了 算法 稳定 
性 的 不 同 . 车 初始 数据 误差 较 小 且 问 题 不 敏感 ,采用 稳定 的 算法 得 出 的 结果 一 定 比 较 准 确 . 

由 于 

RD NT 

结果 误差 为 计算 误差 和 数据 传递 误差 之 和 ,前 者 又 包括 截断 误差 和 舍 人 误差 两 种 . 截断 误 
差 由 方法 、 公 式 的 近似 引起 , 需 结 合 具 体 问 题 进行 理论 分 析 ; 舍 人 误差 形成 的 原因 包括 有 限 
位 的 初始 数据 、 各 个 计算 步 的 顺序 ,以 及 每 步 加 \ 减 、 乘 、 除 运算 误差 的 累积 .对 于 舍 入 误差 ， 
很 难 做 有 效 的 定量 估计 ,只 能 做 些 定性 分 析 . 

要 保证 一 个 数值 计算 问题 结果 的 准确 性 ,通常 需 按 以 下 方面 依次 考虑 . 

(1) 病态 性 ,是 待 求解 数学 问题 的 性 质 , 与 具体 算法 无 关 , 最 先 考 虑 . 

(2) 稳定 性 ,是 数值 算法 的 性 质 ,应 选择 稳定 性 好 的 算法 ,减少 计算 中 误差 的 扩大 . 

(3) 通过 定性 分 析 控 制 伟 人 误差 ,遵循 减 小 侈 人 误差 的 几 条 建议 , 若 可 能 的 话 尽 量 采 用 
位 数 较 多 的 双 精 度 浮 点 数 . 

最 后 ,通过 表 1-7 总 结 计算 结果 中 各 种 误差 分 量 , 以 及 对 其 评估 和 减 小 的 措施 . 
表 1-7 数值 计算 的 各 种 误差 与 减 小 误差 的 措施 


数据 传递 误差 


截断 误差 
对 不 同类 型 问题 进行 
理论 分 析 


舍 人 误差 
对 某 些 问题 采用 向 后 误差 分 析 等 方 | 问题 敏感 性 的 概念 ,条 
法 ;很 难 定量 分 析 件数 

选 稳定 的 算法 ; 减 小 舍 入 误差 的 建 | 变换 问题 形式 ,改善 敏 
议 ; 采 用 双 精 度 或 更 高 精度 浮 点 数 ”| 感性 


如 何 评估 大 小 ? 


如 何 减 小 误差 ? | 算法 选择 


本 书 主题 在 传统 上 称 为 “数值 分 析 ”, 但 它 的 含义 随 着 计算 机 的 发 展 和 应 用 已 大 大 偏离 
了 从 字面 理解 的 意思 . 英国 牛津 大 学 教授 .Fox 奖 得 主 L.，N. Trefethen 写 过 一 篇 小 品 文 
The definition of numerical analysis( 数 值 分 析 的 定义 )? 了 ,其 中 给 出 如 下 定义 : 


”该 文 发 表 于 1992 年 11 月 的 SIAM News, 以 及 Trefethen 撰写 的 书 Numerical Linear Algebra. 在 Trefethen 的 
网 站 也 有 全 文 : http://www. comlab. ox. ac. uk/nick. trefethen/home. html. 
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数值 分 析 是 研究 连续 数学 问题 的 算法 的 学 科 领 域 . 
这 个 定义 突出 了 算法 在 这 个 领域 的 关键 地 位 . 
数值 计算 领域 的 学 术 期 刊 非常 多 ,例如 ,前 面 曾 提 到 的 IEEE 的 Computing in Science 
& Engineering .ACMO? 的 ACM Transactions on Mathematical Software ,其 中 ,SIAM 出 
版 的 一 系列 期 刊 也 值得 关注 . SIAM 是 美国 工业 与 应 用 数学 学 会 (Society for Industrial and 
Applied Mathematics) 的 名 称 缩写 ,该 学 会 是 应 用 数学 、 数 值 计 算 领域 的 权威 学 术 组 织 , 出 
版 了 大 量 有 关 书 籍 和 期 刊 . 
关于 20 世纪 十 大 算法 的 介绍 , 见 Computing in Science & Engineering 2000 年 第 1 期 
上 的 一 组 文章 ,以 及 SIAM News (http://www. siam. org/news/) 上 的 评论 文章 : 
。 Computing in Science &. Engineering, Vol. 2,No. 1,2000. 
。 B. A. Cipra,“ The best of the 20th century: Editors name top 10 algorithms,” 
SIAM News ,Vol. 33,No. 4,2000. 
关于 舍 人 误差 分 析 的 经 典 著作 为 
J. H. Wilkinson, Rounding Errors in Algebraic Processes, Englewood Cliffs, NJ: 
Prentice Hall,1963. 
其 中 也 包括 大 量 著 名 的 “计算 反例 ”, 说 明 一 些 算法 的 不 稳定 性 . 这 方面 较 新 的 专著 有 : 
。° N.J.Higham, Accuracy and Stability of Numerical Algorithms, SIAM 
Press,2002. 
。 M. Overton, Numerical Computing with IEEE Floating Point Arithmetic ,SIAM 
Press,2001. 
关于 数学 软件 ,除了 MATLAB, 目前 比较 流行 ,也 比较 成 熟 的 还 有 Mathematica 和 
Maple. 与 其 他 软件 相 比 ,MATLAB 在 数值 计算 方面 功能 更 好 一 些 . 在 MATLAB 中 ,默认 
的 变量 类 型 是 双 精 度 浮 点 数 , 但 可 以 使 用 single 和 double 命令 将 变量 的 值 在 单 精度 浮 点 数 
和 双 精 度 浮 点 数 之 间 转 换 . 通过 命令 eps、realmax、realmin 可 方便 地 得 到 机 器 精度 、 上 洲 
值 . 下 溢 值 等 浮 点 数 系统 的 重要 参数 (针对 单 精度 和 双 精 度 两 种 情况 ). 如 果 安 装 了 符号 数 
学 工具 箱 (Symbolic Math Toolbox) ,还 可 以 使 用 vpa 命令 设置 任意 的 计算 精度 进行 与 误差 
有 关 的 实验 . 关于 它们 的 更 多 介绍 请 看 MATLAB 的 联机 帮助 . 
【本 章 知 识 点 】 误差 与 有 效 数 字 ;误差 的 分 类 ;数据 传递 误差 的 估算 ;问题 的 敏感 性 ;条 
件数 ;算法 的 稳定 性 ; 浮 点 数 系统 的 表示 及 其 主要 参数 ;机 器 精度 ;IEEE 单 精 度 、 双 精度 浮 
点 数 ;抵消 现象 ;* 大 数 吃 掉 小 数 ” 现 象 ; 减 小 舍 人 误差 的 建议 . 


算法 背后 的 历史 : 浮 点 运算 的 先驱 一 一 威廉 卡 享 


威廉 。 卡 享 (William M. Kahan)1933 年 6 月 5 日 生 于 加 拿 大 多 伦 多 . 他 大 学 就 读 于 著 
名 的 多 伦 多 大 学 ,分 别 于 1954 年 .1956 年 和 1958 年 在 那里 获得 数学 学 士 \ 硕 士 和 博士 学 
位 .学 成 以 后 , 卡 享 既 在 大 学 从 事 过 教学 和 科研 ,又 在 一 些 著 名 的 计算 机 整 机 厂 和 元 器 件 厂 
从 事 过 重要 的 技术 工作 和 产品 开发 工作 . 其 中 包括 : 1960 一 1968 年 在 多 伦 多 大 学 任教 ， 


中 Association for Computing Machinery. 美国 计算 机 协会 .计算 机 领域 重要 的 学 术 组 织 之 一 . 
人 
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1972 一 1973 年 在 IBM 公司 工作 ,1974 一 1982 年 任 HP 公司 顾问 ， 
1976 一 1983 年 在 Intel 公司 工作 ,1983 一 1986 重 返 IBM 公司 ,1986 年 
以 后 在 加 州 大 学 伯克利 分 校 任教 ,同时 在 美国 国家 半导体 公司 兼 
职 . 这 些 经 历 使 他 积累 了 丰富 的 工程 实践 经 验 , 并 为 计算 机 科学 技 
术 , 尤 其 是 在 计算 机 运算 技术 的 发 展 方面 做 出 了 重要 贡献 .由 于 卡 
享 对 数值 分 析 的 基础 性 贡献 ,他 获得 了 1989 年 的 图 灵 奖 . 他 还 于 
1994 年 当选 ACM Fellow,2000 年 获 IEEE“Emanuel R. Piore” 奖 ， 
2003 年 当选 美国 艺术 与 科学 院 院 士 ,2005 年 当选 美国 工程 院外 籍 
院士 . 图 1-5 威廉 . 卡 享 

卡 享 的 主要 贡献 

大 家 知道 ,计算 机 中 的 “ 数 ” 有 “定点 数 ” 和 “浮上 点 数 ” 之 分 ,“ 定 点 数 ” 的 运算 部 件 的 设计 与 
实现 比较 容易 ,而 “浮上 点 数 ” 的 运算 部 件 的 设计 和 实现 却 复 杂 得 多 ,困难 得 多 .因此 , 较 早 的 
计算 机 许多 都 不 配备 浮 点 运算 部 件 . 那么 需要 浮 点 运算 的 时 候 怎 么 办 呢 ? 历史 上 曾经 有 过 
两 种 解决 办 法 : 第 一 种 是 利用 浮 点 运算 子 程序 在 定点 运算 部 件 上 实现 浮 点 运算 .最早 的 浮 
点 运算 子 程序 是 由 1970 年 图 灵 奖 获得 者 威 尔 金 森 (J]，、H.，Wilkinson) 中 在 图 灵 (Turing) 所 
设计 的 ACE 计算 机 上 实现 的 ;第 二 种 办 法 是 冯 。 诺 依 曼 (von Neumann) 提 出 来 的 , 即 对 定 
点 数 附加 以 "比例 因子 ”, 使 之 成 为 实际 上 的 浮 点 数 . 这 个 办 法 固然 巧妙 ,但 比例 因子 的 设 定 
成 了 令 程 序 员 伤 脑筋 的 事 , 因 为 有 时 候 运算 的 中 间 结 果 和 最 后 结果 的 范围 很 难 确 切 估 计 , 比 
例 因 子 选 小 了 ,造成 运算 溢出 ;比例 因子 选 大 了 ,影响 运算 精度 后 来 ,IBM 公司 的 J 
Backus@ 和 H，Herrick 一 起 开发 出 了 一 个 称 为 Speedcoding 的 软件 ,能 根据 问题 自动 设 定 
和 调整 比例 因子 ,成 功 地 解决 了 这 个 问题 . 这 些 办 法 都 是 通过 软件 实现 浮 点 运算 的 ,虽然 可 
行 , 但 在 运行 效率 上 和 精度 上 都 有 很 大 限制 ,也 难以 满足 某 些 应 用 的 需要 . 正 是 卡 享 ,在 
Intel 公司 工作 期 间 , 主 持 设计 与 开发 了 8087 芯片 ,成 功 地 实现 了 高 速 .高效 的 浮 点 运算 硬 
件 . 很 长 一 段 时 间 以 来 , 装 有 80x86 系列 CPU 的 计算 机 都 需要 配置 8087 这 个 数学 协 处 理 
器 ,才能 完成 科学 与 工程 方面 的 计算 . 

由 于 有 这 样 的 背景 ,IEEE 在 制定 浮 点 运算 标准 的 时 候 , 很 自然 地 任命 卡 享 为 这 个 课题 
的 负责 人 . 在 卡 享 的 主持 下 ,二 进 制 肖 点 运算 标准 IEEE 754 以 及 与 基数 无 关 浮 点 运算 标准 
IEEE 854 相继 出 台 . 1985 年 ,IEEE 标准 委员 会 和 美国 国家 标准 局 共同 采纳 了 IEEE 754 
标准 , 它 目前 已 被 绝 大 多 数 的 计算 机 浮 点 算术 体系 所 遵循 . 

除了 以 上 主要 贡献 外 , 卡 享 在 科学 、 工 程 、 财 会 计算 的 数值 算法 的 设计 、 误 差分 析 、 验 证 
与 自动 诊断 等 方面 也 有 卓越 的 贡献 ,是 该 领域 中 世界 公认 的 权威 之 一 , 曾 发 表 过 许多 有 影响 
的 论文 .尤其 是 在 算 阵 计算 方面 , 卡 享 享有 极 高 的 学 术 造 话 . 目前 , 卡 享 为 加 州 大 学 伯克利 
分 校 EECS 系 的 荣誉 退休 教授 ,下 面 是 他 的 互联 网 主页 地 址 : 

http://www. eecs. berkeley. edu/Faculty/ Homepages/kahan. html 


@ 见 第 3 章 “ 算 法 背后 的 历史 ”. 
@ 他 领导 开发 的 FORTRAN 最 优 编译 器 算法 被 选 为 "20 世纪 十 大 算法 ”, 他 也 是 1977 年 图 灵 奖 获得 者 . 
DF 
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练 习 题 


注 : 本 章 练习 题 1.4、5、6、7 的 目的 是 为 了 体现 误差 限 ,以 及 误差 限 传播 的 规律 ,因此 ， 

ede entero 
. 计算 球体 积 要 使 相对 误差 限 为 1% , 问 度量 半径 R 时 允许 的 相对 误差 限 是 多 少 ? 

2. 考虑 正弦 函数 sinz 的 求 值 ,特别 是 数据 传递 误差 , 即 自 变量 x 发 生 扰动 h 时 函数 值 
的 误差 . 

(1) 估计 sinz 的 绝对 误差 . 

(2) 估计 sinz 的 相对 误差 . 

(3) 估计 这 个 问题 的 条 件数 . 

(4) 自 变量 z 为 何 值 时 ,这 个 问题 高 度 敏感 ? 

3. (1) 采用 4 位 有 效 数 字 的 十 进 制 运算 及 例 1. 1 给 出 的 公式 ,计算 地 球 表 面积 , 取 
7 一 6370km. 

(2) 如 果 半 径 增加 1lkm, 用 同样 的 公式 和 精度 计算 表面 积 ,两 者 之 差 是 多 少 ? 

(3) 由 于 dA/dr 二 8xr, 所 以 表面 积 的 变化 近似 为 8xrh ,其 中 ,h 是 半径 的 变化 ， 用 这 个 
公式 并 仍 采 用 4 位 有 效 数字 的 十 进 制 计算 ,计算 半径 增加 1km 时 表面 积 的 差 . 用 这 个 近似 
公式 求 得 的 值 与 (2) 中 用 “精确 ”公式 得 到 的 值 有 什么 差别 ? 

(4) 用 更 高 的 精度 ,例如 6 位 有 效 数 字 , 重 复 前 面 的 计算 ,确定 两 个 答案 哪个 更 精确 . 

(5) 解释 (1) 一 (4) 得 到 的 结果 ， 

4. 设 Yo 三 28, 按 递 推 公式 


一 了 一 一 -| ne. 
"= Ym TV (n=1,2,) 


计算 到 Yio. 若 取 M783 守 27. 982( 保 留 5 位 有 效 数 字 ) ,试问 计算 Yiw 将 有 多 大 误差 . 
5. 正方 形 的 边 长 大 约 为 100cm, 问 测量 时 允许 多 大 的 误差 才能 使 其 面积 误差 不 超 
过 lcm?. 


YY 


序列 {y,) 满 足 递 推 关 系 
y= 1l0ym—1 (n= 1,2,.) 
一 V2=:1.41( 保 留 3 位 有 效 数字 ) ,计算 到 wo 时 误差 有 多 大 ? 这 个 计算 过 程 稳定 吗 ? 
7. 计算 f= W2 一 1)°, 取 Y2 守 1.4, 利 用 下 列 等 式 计算 , 哪 一 个 得 到 的 结果 最 好 ? 
1 1 
ee (3 一 2V2)3， 二 99 一 70V2. 

8. 考虑 f(x,y) 二 x 一 y 定义 的 函数 1: R? 一 RR. 用 |z| 十 |y| 度 量 二 元 值 Cz,y) 的 大 小 ， 
并 假定 |zx| 十 |y| 守 1,x 一 ye,(e 为 远 小 于 1 的 量 ) ,在 考虑 x、y 分 别 发 生 扰 动 的 情况 下 证 
明 条 件数 cond( 了 ) 守 1/e. 将 这 个 结论 与 减法 的 敏感 性 以 及 抵消 现象 联系 起 来 ,说 明了 什么 ? 

9. (1) 证 明 在 规范 化 浮 点 数 系统 中 (如 式 (1.6)), 上 溢 值 OFL 为 

OFL = BoH (1 一 8-2). 
(2) 若 采 用 次 规范 化 机 制 , 问 下 溢 值 UFL 的 计算 公式 是 什么 ? 
10. 证 明定 理 1.6. 
。 28 。 
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11. 十 进 制 小 数 0. 1 的 IEEE 单 精 度 二 进 制 浮 点 表示 是 什么 ? 分 别 采用 截断 舍 入 和 最 
近 舍 人 ,对 它 保留 4 位 有 效 数字 的 结果 是 什么 ? 


上 机 题 


1. 用 MATLAB 编程 实现 例 1.4, 绘 出 图 1-2, 体 会 两 种 误差 对 结果 的 不 同 影 响 . 
2. 假定 用 间距 ==(6 一 a)/n 在 区 间 [a,5] 上 产生 n 十 1 个 等 距 点 . 

(1) 在 浮 点 运算 中 ,下 列 方法 哪个 更 好 ? 为 什么 ? 

© zo=a,zi =x th,k=1l ,nn. 

© z=atkh,k=0,,n 

(2) 编写 程序 实现 上 述 两 种 方法 , 设 4 二 0,6 二 1, 举 出 两 种 方法 有 差别 的 例子 . 
3. 编程 观察 无 穷 级 数 


和 
的 求 和 计算 . 
(1) 采用 IEEE 单 精 度 浮 点 数 , 观 察 当 ?7 为 何 值 时 求 和 结果 不 再 变化 ,将 它 与 理论 分 析 
的 结论 进行 比较 ( 注 : 在 MATLAB 中 可 用 single 命令 将 变量 转 成 单 精度 浮 点 数 ). 

(2) 用 IEEE 双 精 度 浮 点 数 计算 ) 中 前 n 项 的 和 ,评估 IEEE 单 精 度 浮 点 数 计算 结果 
的 误差 . 

(3) 如 果 采 用 IEEE 双 精 度 浮 点 数 , 估 计 当 ?7 为 何 值 时 求 和 结果 不 再 变化 ,这 在 当前 做 
实验 的 计算 机 上 大 概 需要 多 长 的 计算 时 间 ? 

4. 编写 程序 , 按 e 二 lim(1 十 1/n)" 计算 常数 e, 即 自然 对 数 的 底 ,具体 地 ,对 n= 二 10* (k= 
1,2,…,20 ) ,计算 (十 1/n)". 将 结果 与 exp(1) 比 较 , 确 定 近 似 值 的 误差 . 误差 是 否 随 n 的 
增加 而 降低 ?用 MATLAB 画 出 误差 的 变化 趋势 曲线 ,作出 解释 . 

5. 编写 程序 ,用 无 穷 级 数 

er 一 5 


计算 指数 函数 e@. 

(1) 若 按 自然 顺序 求 和 ,应 用 什么 判 停 标 准 ? 

(2) 用 z== 土 1, 士 5, 士 10, 士 15, 士 20 测试 程序 ,将 内 部 函数 exp(x) 的 结果 作为 准确 
值 ,评估 程序 计算 结果 的 误差 . 

(3) 当 z<0 时 ,能 否 用 此 程序 得 到 准确 的 结果 ?车 不 能 ,设法 改进 程序 . 

(4) 当 x 过 0 时 ,能 否 通过 级 数 项 的 重新 排列 或 分 组 得 到 较 准 确 的 结果 ? 


。29 。 
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线性 方程 是 方程 式 中 仅 包 含 未 知 量 的 一 次 方 项 和 常数 项 的 方程 , 除 此 之 外 的 方程 都 是 
非 线性 方程 (nonlinear equation). 例如 ,大 家 熟知 的 “一 元 二 次 方程 ”就 是 一 个 非 线 性 方程 . 
多 元 线性 方程 组 的 求解 是 数值 计算 领域 的 一 个 重要 问题 ,在 后 续 几 章 将 专门 讨论 . 本章 介 
绍 求解 非 线性 方程 的 数值 方法 ,主要 针对 实数 域 ,重点 是 单个 非 线性 方程 的 求 根 问题 . 


2.1 3 引 


2.1.1 非 线性 方程 的 解 


记 要 求解 的 单 变 量 非 线性 方程 为 
F(z) = 0 《名 
其 中 ,函数 f; R 一 RR. 一 般 而 言 , 非 线 性 方程 的 解 的 存在 性 和 个 数 是 很 难 确定 的 , 它 可 能 无 
解 , 也 可 能 有 一 个 或 多 个 解 . 

例 2.1( 非 线性 方程 的 解 ): 分 析 下 列 非 线性 方程 的 解 是 否 存在 和 解 的 个 数 . 

(1) @ 十 1 二 0, 此 方程 无 解 . 

(2) e “一 zx 二 0, 此 方程 有 一 个 解 . 

(3) zx?: 一 4sinx 二 0, 此 方程 有 两 个 解 . 

(4) x 一 6x? 十 5x 二 0, 此 方程 3 个 解 . 

(5) cosz 一 0, 此 方程 有 无 穷 多 个 解 . 图 

在 实际 问题 中 ,往往 要 求 的 是 自 变量 在 一 定 范围 内 的 解 ,比如 限定 zxELa,o， 函数 
了 一 般 为 连续 函数 , 则 可 记 为 /(x)E€ CLa,0j],CLa,bj] 表 示 区 间 La,b6j 上 所 有 连续 实 函 数 的 集 
合 . 假设 在 区 间 [La, 5] 上 方程 (2.1) 的 根 为 xz* ,也 称 x* 为 函数 f(x) 的 零点 . 方程 的 根 可 能 
不 唯一 ,而 且 同 一 个 根 x* 也 可 能 是 方程 (2. 1) 的 多 重 根 . 

定义 2.1: 对 光滑 函数 f, 车 f(zx* )= 了 (zx*)=…==f"1(zx* )==0, 但 f(zx* ) 关 0, 则 
称 x* 为 方程 (2.1) 的 m 重 根 . 当 m 二 1 时 , 即 f(x* )=0,f (zx* ) 关 0 时 , 称 x* 为 单 根 . 

对 于 多 项 式 函 数 f(x), 若 x* 为 m 重 根 , 则 f(x) 可 因 式 分 解 为 

f(x) = (rx—Zx’* )"g(7), 
其 中 ,g(x) 也 是 多 项 式 函 数 , 且 g(x* ) 关 0. 很 容易 验证 ,f(x* )==f (x* ) 一 … 一 FDC) 一 
0, 但 f(x* ) 隆 0, 即 多 项 式 方程 重 根 的 概念 与 定义 2. 1 是 一 致 的 . 对 一 般 的 函数 f,zx* 是 
方程 (2.1) 的 重 根 的 几何 含义 是 ,函数 曲线 在 xz* 处 的 斜率 为 0, 且 在 该 点 处 与 x 轴 相 交 . 

非 线 性 方程 的 一 个 特例 是 n 次 多 项 式 方程 (n 宇 2) ,根据 代数 基本 定理 可 知 ,n 次 方程 在 
复数 域 上 有 个 根 (m 重 根 记 为 m 个 根 )， 当 n= 二 1,2 时 ,方程 的 求解 方法 是 大 家 熟知 的 . 当 
2 二 3,4 时 ,虽然 也 有 求 根 公式 ,但 已 经 很 复杂 ,在 实际 计算 时 并 不 一 定 适 用 . 当 n 宇 5 时 ,不 
存在 一 般 的 求 根 公式 ,只 能 借助 数值 求解 方法 来 求 根 . 
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2.1.2 问题 的 敏感 性 


根据 问题 敏感 性 的 定义 ,这 里 需要 考虑 输入 数据 的 扰动 对 方程 的 根 有 多 大 影响 . 
要 分 析 人 敏感 性 ,首先 应 假设 问题 中 的 数据 如 何 扰动 ,一 种 易于 分 析 的 情况 是 将 非 线 性 
方程 写成 

f(x)=y 

的 形式 ,然后 讨论 > 在 0 值 附 近 的 扰动 造成 的 问题 敏感 性 .此 时 , 求 根 问 题 变 成 了 函数 求 值 
问题 y 二 f(x) 的 反问 题 . 若 函 数值 f(z) 对 输入 参数 zz 很 不 敏感 (zx 在 解 x* 附近 变化 ) , 则 求 
根 问 题 将 很 敏感 ;反之 ,车 函数 值 对 参数 值 很 敏感 的 话 , 求 根 则 不 敏感 ,这 两 种 情况 如 图 2-1 
所 示 . 

下 面 分 析 y 发 生 扰动 Ay 引起 的 方程 的 根 的 扰动 Arz. 由 于 当 x 二 x* 时 ,y= 二 0, 我 们 使 
用 绝对 (而 不 是 相对 ) 条 件数 

L 
| 人 
条 件数 的 大 小 反映 方程 求 根 问题 (2. 1) 的 敏感 程度 , 若 |f (x* )| 很 小 , 则 问题 很 敏感 ,是 一 
个 病态 问题 ;反之 ,车 | 了 (x* )| 很 大 , 则 问题 不 敏感 . 一 种 特殊 情况 是 (zx* ) 二 0, 即 x* 为 
重 根 ,此 时 求 根 问题 很 敏感 , 原 问题 的 微小 扰动 将 造成 很 大 的 解 误差 ,甚至 改变 解 的 存在 性 
和 唯一 性 (如 图 2-2 所 示 ,问题 的 扰动 可 能 使 解 不 存在 ). 


cond = | 笠 |= 


y 
O 
(a) 不 敏感 (b) 敏感 
图 2-1 方程 求 根 问 题 的 敏感 性 图 2-2 f'(x*)=0 时, 求 根 问 题 很 敏感 


对 于 敏感 的 非 线性 方程 求 根 问题 , FCz)s0 并 不 意味 着 很 接近 x* ,在 后 面 讨论 过 代 
解法 的 判 停 准则 时 应 注意 这 一 点 . 


2.2 二 分 法 


数值 求解 非 线 性 方程 通常 是 一 个 迭代 的 过 程 ,迭代 开始 之 前 要 先 有 个 初始 的 近似 解 , 然 
后 随 着 迭代 步 数 的 增多 ,近似 解 越 来 越 接 近 准 确 解 , 当 达到 一 定 要求 时 即 停止 计算 过 程 . 本 
节 先 介绍 一 种 最 基本 的 方法 一 一 二 分 法 (interval bisection method) . 


2.2.1 方法 原理 


先 介 绍 有 根 区 间 的 概念 ,有 根 区 间 就 是 包含 至 少 一 个 根 的 区 间 , 它 限定 了 根 存在 的 范 
围 . 如 果 能 计算 出 一 个 非常 小 的 有 根 区 间 , 那 么 区 间 的 中 点 就 是 一 个 很 好 的 近似 解 ， 下面 
的 定理 给 出 了 有 根 区 间 的 充分 条 件 . 
ge 
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定理 2.1: 车 f(x)ECLa,6j], 且 f(a)f(0) 二 0,; 则 区 间 (a,5) 内 至 少 有 一 实 根 . 
这 里 省 略 定理 证 明 过 程 ,只 给 出 图 2-3 作为 一 个 解释 . 
定理 2. 1 给 出 了 一 种 获得 有 根 区 间 的 方法 , 即 通过 


f(x) 
看 /(a)、f(65) 两 个 值 是 否 符号 相反 来 判断 (a,5) 是 否 为 fo0 
有 根 区 间 . 在 实际 操作 时 ,可 在 一 个 较 大 的 范围 内 取 多 个 ~ 2 
点 计算 f(z) 函数 值 ,从 而 得 到 一 个 或 多 个 有 根 区 间 . 另 了 MCA 一 
外 应 注意 ,根据 定理 2. 1 得 到 的 有 根 区 间 内 不 一 定 只 有 2 
一 个 根 ,这 从 图 2-3 也 可 以 看 出 . 图 2-3 车 f(a)f(6) 二 0, 则 在 区 
二 分 法 的 思想 很 简单 ,就 是 每 次 将 有 根 区 间 一 分 DD 


为 二 ,得 到 长 度 逐 次 减 半 的 区 间 序 列 {(ar,0.)), 则 区 
间 中 点 zx 二 Car 十 04)/2 就 是 第 & 步 迭代 的 近似 解 , 具 体 算法 如 下 . 


G3 le SS 
输入 : a,5, 函 数 f(x) ; 输出 : >Z. 
While (b—a)>e do 
ZX: 二 a 二 (ba)/2; 
If sign( f(x))= sign(f(a)) then 
QI 


Else 


End 
TX :三 a 十 (6 一 a)/2. 


在 算法 2. 1 中 ,sign() 表 示 取 符号 的 函数 ,而 二 分 近代 结束 的 条 件 为 有 根 区 间 (a,65) 的 长 度 
小 于 某 个 国 值 s:. 应 注意 ,这 里 忽略 了 f(z) 或 者 Fo) 等 于 0 的 情况 ,如 果 出 现 这 种 情况 算法 可 
成 功 结束 . 感 兴趣 的 读者 可 以 对 算法 2. 1 加 以 完善 , 写 出 更 全 面 、 更 实用 的 二 分 法 算法 程序 . 
假设 二 分 法 得 到 的 有 根 区 间 序 列 为 {Ca ,61) ,k= 二 0,1,…), 若 取 解 x 二 (ai 十 5b4)/2, 则 
[m= | 过 (=a m=, E02 (2.2) 
根据 公式 (2.2) 和 对 解 的 准确 度 的 要 求 ,也 可 以 事先 佑 算出 二 分 迭代 执行 的 次 数 以 及 相 
应 的 计算 量 . 这 里 每 步 迭 代 的 计算 量 主要 是 计算 一 次 函数 f(z). 
例 2.2( 二 分 法 ) : 求 方程 
FCz) 一 六 一 Z 一 2 一 0 
在 区 间 [L1.0,1.5] 上 的 一 个 实 根 , 要 求 准 确 到 小 数 点 后 第 二 位 (四 售 五 人 后 ). 
【 解 】 首先 验证 (1.0,1.5) 是 否 是 一 个 有 根 区 间 , 易 知 F(1.0)<0,7F(G1.5) 二 0. 所 以 将 
(1.0,1.5) 作 为 二 分 法 的 初始 区 间 . 利用 式 (2. 2) 我 们 可 以 估计 , 若 
(0 一 a)/24Hl < 0.5X107, (3 
则 |zi 一 zx* | 过 0. 5X10 习 ?, 即 结果 准确 到 了 小 数 点 后 第 二 位 . 代入 < 一 1.0,0 王 1.5, 求 
解 (2.3) 得 ， 
。32。 
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0:5 二 旋 
k = log; sxio 1 一 5.6 
取 最 小 的 整数 值 & 王 6. 只 需 二 分 6 次 ,可 得 到 满足 精度 要 求 的 解 . 计算 过 程 中 的 数据 和 结 
果 列 于 表 2-1. 从 中 看 出 ,准确 到 小 数 点 后 两 位 的 解 为 zx 二 1. 356( 准 确 解 为 1. 353 210). 


表 2-1 采用 二 分 法 求解 例 2. 2 的 过 程 和 结果 


k CR Dx Tk FC 

0 1.0 1.5 25 一 0.808 
1 1.25 1.5 375 0.199 
2 1.25 1.375 313 一 0.341 
3 1.313 1..375 344 一 0.081 
上 1. 344 1.375 36 0.061 
5 1.344 1.36 352 一 0.011 
6 1.352 1.36 356 0.025 


2.2.2 算法 稳定 性 和 结果 准确 度 


算法 的 稳定 性 考察 的 是 计算 过 程 中 的 误差 对 结果 的 影响 . 对 于 二 分 法 来 说 ,主要 的 计 
算 步 又 是 计算 函数 值 ,一 般 采 用 双 精 度 浮 点 数 计算 函数 值 的 误差 很 小 ,而 其 他 计算 是 少量 的 
加 减法 ,因此 不 至 于 对 有 根 区 间 以 及 最 终结 果 的 准确 度 造成 多 大 影响 . 另外 ,在 计算 过 程 中 
解 的 误差 限 逐 次 减 半 , 这 也 说 明 二 分 法 是 稳定 的 . 


在 实际 的 浮 点 算术 体系 中 ,二 分 法 运行 结果 的 准确 度 不 可 能 随 迭 代 过 程 一 直 提 高 ,， 首 
先 看 一 个 例子 . 


例 2.3( 二 分 法 准确 度 的 极限 ): 编写 程序 用 二 分 法 来 求解 方程 f(z) 二 x 一 2 二 0, 初 始 
区 间 为 [1,2]. 
下 面 是 用 MATLAB 语言 编写 的 程序 : 


M=2; a=1; b=2; k=0; 


while b-a>eps //MATLAB 中 的 eps 为 2 倍 的 机 器 精度 es , 即 2 
x=a+ (b-a) /2; 
2>M. 
b=x // 输 出 b 
else 
a=x // 输 出 a 
end 
k=k+1; 
end 


这 个 程序 执行 了 52 步 就 结束 了 ,输出 结果 如 下 : 


b= 1.50000000000000 
a= 1.25000000000000 


。 33 。 
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a= 1.37500000000000 
b= 1.43750000000000 
a= 1.41421356237309 
a= 1.41421356237309 
b= 1.41421356237310 
b= 1.41421356237310 


为 了 看 得 更 清楚 ,输入 MATLAB 命令 format hex, 使 输出 按 十 六 进 制 格式 显示 ,再 运 
行 一 遍 上 述 程序 ,最 后 的 4 个 输出 结果 为 

a= 3ff6a09e667f3bc8 

a= 3ff6a09e667f3bcc 


b= 3ff6a09e667f3bce 
b= 3ff6a09e667f3bcd 


可 以 看 出 ,最 终 区 间 (a,5) 的 两 个 端点 已 经 是 两 个 相 邻 的 浮 点 数 , 即 使 让 二 分 过 程 继续 
执行 下 去 ,区 间 仍 然 不 会 改变 (由 于 a 和 4 平均 值 的 计算 结果 就 是 其 中 的 某 一 个 )， 也 就 是 
说 ,迭代 再 多 的 次 数 ,结果 的 准确 度 也 无 法 提高 了 . 国 

上 述 例子 说 明了 二 分 法 结果 准确 度 的 极限 情况 . 一 般 地 ,二 分 法 迭代 过 程 中 ,有 根 区 间 
缩小 的 极限 情况 是 使 它 的 端点 as ,bi 为 两 个 相 邻 的 机 器 浮 点 数 . 此 时 ， 


及 一 惟一 2llogslz*  。 2 二 


其 中 ,em 为 机 器 精度 ,， 为 下 取 整 符号 ,而 2lee 1 为 x* 的 二 进 制 表 示 中 指数 的 那 部 分 . 
在 这 种 极端 情况 下 , 解 的 误差 限 就 是 区 间 长 度 , 即 
| eC(xi) |=| x — x" |< 281 1 。2ena。 (2 
在 IEEE 双 精 度 浮 点 数 系统 下 ,emow 二 2 ”, 则 
| elxiy |< 2s Us 9ens | zr [sa x* le 32.22 X10 . 
根据 公式 (2.4) ,也 可 得 到 相对 误差 的 上 限 


| 


[|x | | ge. C25) 


这 个 相对 误差 限 正好 是 计算 机 中 用 浮 点 数 表示 实数 的 误差 限 (定理 1.5) 的 两 倍 . 

公式 (2.4) 给 出 了 用 二 分 法 求解 时 绝对 误差 限 可 能 达到 的 最 小 值 , 它 说 明 在 准确 解 较 大 
的 情况 下 ,在 执行 二 分 法 时 无 论 迭 代 多 少 次 都 无 法 保证 解 的 误差 非常 小 . 综合 上 述 讨论 以 
及 公式 (2. 2) ,得 到 定理 2. 2. 

定理 2.2: 在 实际 的 浮 点 算术 体系 下 采用 二 分 法 解 方 程 f(x) 二 0, 设 初始 有 根 区 间 为 
(a,05), 则 : 

(1) 结果 的 误差 限 最 小 可 达到 24%1*” 路 。 26a, 其 中 ,x* 为 准确 解 ,相对 误差 限 最 小 可 
达到 2ensa. 

(2) 若 误 差 阐 值 。 大 于 或 等 于 21%1* 中 .2ewa, 需 执行 的 迭代 步 数 为 

Ba 
k=|[ 1og: oe —1l]. (2.6) 


定理 2. 2 的 结论 (2) 的 证 明 留 给 读者 思考 . 
ee 呈 


| e(Cze) | 三 
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最 后 ,对 二 分 法 说 明 几 点 . 

(1) 二 分 法 是 求 单 变量 方程 FCz)=0 的 实 根 的 一 种 可 靠 算 法 , 若 存在 有 根 区 间 则 一 定 
能 收敛 . 

(2) 二 分 法 解 的 误差 不 一 定 随 迭代 次 数 增加 一 直 减 小 ,在 实际 的 有 限 精度 算术 体系 中 ， 
误差 限 存在 最 小 值 . 

(3) 二 分 法 的 缺点 是 有 时 不 易 确 定 合适 的 初始 有 根 区 间 ( 含 两 个 初始 值 ) .收敛 较 慢 , 且 
无 法 求解 偶数 重 的 根 . 因此 ,实际 应 用 中 常 将 二 分 法 与 其 他 方法 结合 起 来 . 


2.3 不 动 点 迭代 法 


oa 本 章 后 续 部 分 将 介绍 几 种 应 用 广泛 、 收 敛 较 快 的 迭代 法 .本 
节 介 绍 不 动 点 迭代 法 及 其 收敛 性 理论 ,为 后 续 其 他 方法 的 讨论 建立 基础 . 


2.3.1 基本 原理 


通过 某 种 等 价 变换 ,可 将 非 线 性 方程 (2. 1) 改 写 为 
z= g(x) C2 9 
其 中 ,g(x) 为 连续 函数 . 给 定 初始 值 ze 后 ,可 构造 迭代 计 
算 公 式 
Zin Se (k = 0,1,) (2. 8) 
从 而 得 到 近似 解 序列 {z}. 由 于 方程 (2. 1) 和 方程 (2.7) 
te Zz) 收敛 ,其 极限 必 为 原 
方程 (2.1) 的 解 z*". 由 于 解 x* 满足 x* 三 g(x” ), 称 它 为 
函数 pg(z) 的 不 动 点 (fixed point) ,此 方法 为 求解 非 线 性 方 
程 (2.1) 的 不 动 点 迭代 法 (fixed-point iterative method). 
不 动 点 迭代 法 的 求解 过 程 如 图 2-4 所 示 , 而 算法 描述 
在 下 面 给 出 . 


图 2-4 采用 不 动 点 迭代 法 ,近似 
解 序列 {ze} 收 敛 到 Z 


算法 2.2: 基于 函数 g(x) 的 不 动 点 迭代 法 . 
输入 : zo ,函数 f(z) ,p(x); 输出 : >z. 
k :一 0; 
While | f(zxi)|>e 或 |zi—zi-i|>e: do 
a dd 
ke: kin 
End 


De 


其 中 ,sl 和 es 为 用 于 判断 迭代 是 否 应 停止 的 两 个 阔 值 . 关于 迭代 的 判 停 准 则 ,在 2. 4. 3 节 详 
细 讨 论 . 
例 2. 4( 不 动 点 和 迭代 法 ): 求 f(z) 二 x 一 + 一 2 二 0 在 zo 二 1.5 附近 的 根 . 以 不 同 的 方式 
入 家 沁 
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得 到 方程 的 等 价 形式 ,研究 相应 的 不 动 点 迭代 法 的 收敛 情况 . 
【 解 】 将 原 方程 改 为 等 价 的 (A)、(B) 两 种 形式 ,得 到 下 述 两 种 不 动 点 迭代 法 . 
方法 (A) : 将 方程 改写 为 x 二 x 一 2. 得 到 的 迭代 法 计算 公式 为 zo 二 1.5,zxiti 王 x 一 2， 
(一 0,1,…). 计算 出 结果 如 下 : 
zi 王 二 下 一 2 三 30025， 
zz 一 3.0625 一 2 = 85.9639, 


从 上 述 计算 结果 看 ,序列 {xz} 有 趋 于 无 穷 大 的 趋势 ,迭代 法 不 收敛 ,无 法 求 出 近似 解 . 
方法 (B): epee 得 到 的 迭代 法 计算 公式 为 z 一 1. 5, ziti 二 
V 二 二 72, (一 0,1,…). 计算 出 结果 如 下 : 
x1 = Vi.5+2 = 1.3678, 
xs = M1.3678+2 = 1.3547, 
xs = V1.3547+2 = 1.3534, 
zx4 = M1.3534 二 2 = 1.3532, 
= V1i.3532 2 = 1.3532. 
从 上 述 计算 结果 看 ,x 和 zs 前 5 位 有 效 数字 均 为 1. 3532, 可 认为 迷 代 过 程 是 收敛 的 ， 
要 求 的 根 为 1. 3532. 国 
通过 例 2.4 可 以 看 出 ,用 不 同 的 方式 改造 原 方程 ,可 得 到 多 种 不 动 点 迭代 法 计算 过 程 ， 
其 收敛 性 质 也 是 不 同 的 . 因此 ,判断 一 个 不 动 点 迭代 法 是 否 收敛 至 关 重要 


2.3.2 全 局 收敛 的 充分 条 件 


定理 2. 3 给 出 一 个 函数 存在 唯一 不 动 点 的 充分 条 件 . 

定理 2.3: 设 g(x) EC[a, 中 ,车 满足 如 下 两 个 条 件 : 

(1) 对 任意 xE[La,0b], 有 a<pCz) 委 0. 

(2) 存在 正常 数 LE (0,1) ,使 对 任意 zi ,zxs€ [a,6b]， 

lyr) = 0 RE | |; 
则 p(x) 在 La,5] 上 存在 不 动 点 , 且 不 动 点 是 唯一 的 . 

在 证 明定 理 之 前 , 先 理 解 一 下 定理 中 两 个 条 件 的 含义 . 首先 ,采用 不 动 点 迭代 法 的 计算 
公式 为 ze+ti1 二 p(x),k 二 0,1,2,… ,因此 要 使 后 续 迭 代步 的 计算 合法 ,必须 要 求 g(x) 的 值 
在 函数 的 定义 域内 ,(1) 的 条 件 保证 了 这 一 点 . 其 次 ,(2) 中 新 加 的 条 件 表明 ,p(z) 曲 线 上 任 
两 点 连 线 斜率 的 绝对 值 不 超过 工 , 当 两 点 非常 靠近 时 它 就 是 导数 ,因此 ,g(x) 曲 线 上 任意 点 
的 切线 斜率 的 绝对 值 都 小 于 1, 这 说 明 p(x) 曲线 变化 很 平缓 ,在 曲线 上 任意 点 处 的 斜率 都 
比 y 一 工 和 和 ye 两 条 直线 小 . 这 个 条 件 也 称 为 工 二 1 的 李 普 希 益 (Lipschitz) 条 件 ,L 为 李 

【证 明 】 先 证 明 不 动 点 的 存在 性 ,分 两 种 情况 : 

(1) 车 gla) 二 =a, 或 p06) 二 65, 则 a 或 5 为 不 动 点 . 

(2) 车 g(a) 隆 a 且 g 00) 关 05, 则 g(Q) 之 a,g(0)<b. 令 f(x) 二 g(x) 一 +, 则 f(x) 为 连续 

。36 。 
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函数 , 且 Fa)>0, CO)<0. 根据 连续 函数 性 质 , 必 有 zx* E(CapO) ,使 FCz  ) 一 0, 即 pz ) 一 
ZX* ,x 为 不 动 点 . 
再 证 明了 唯一 性 ,采用 反 证 法 . 假设 有 两 个 不 同 的 不 动 点 zx? ,zx2 ELa,0j ,它们 满足 
p(X =x, glx)=7r, Xr FAT. 


根据 (2) 中 的 条 件 推 出 
| = |= | y= ) [RE = | 二 六 1 
产生 矛盾 .所 以 假设 x? 关 x2 不 成 立 ,不 动 点 是 唯一 的 . 图 


应 说 明 的 是 ,上 述 证 明 不 动 点 的 存在 性 只 使 用 了 条 件 (1). 事实 上 ,通过 画 函 数 曲线 图 
的 方式 也 可 以 形象 地 说 明 不 动 点 的 存在 性 ,这 一 点 留 给 感 兴趣 的 读者 思考 . 

定理 2.4 给 出 不 动 点 迭代 法 收敛 的 充分 条 件 . 

定理 2.4: 设 p(x)E€ CLa,6b] 满 足 定理 2.3 的 两 个 条 件 , 则 对 于 任意 初 值 xz。 E [a,6j, 由 
不 动 点 迭代 法 得 到 的 序列 {x } 收 敛 到 p(x) 的 不 动 点 xz" ,并 有 误差 估计 


1 LL 

【证 明 】 首先 注意 到 定理 条 件 保 证 了 不 动 点 唯一 存在 ,而 且 条 件 (1) 保 证 了 不 动 点 迭代 
法 可 执行 下 去 ,从 而 得 到 序列 {x}. 下 面 证 明 序 列 {x4) 收 敛 , 其 思路 是 考虑 误差 序列 ,证 明 
其 极限 为 0. 


[zi—z" Ie | zi — zo |. 


[x |=| oz) —or) LI w I< | | 
由 于 工 为 小 于 1 的 正常 数 , 则 
lim7 | zo 一 z |=0， 寺 lim |z—zx*’ |=0， 寺 limzx = zx". 


这 证 明了 不 动 点 迭代 法 是 收敛 的 . 剩 下 |z 一 zz* | 二 -| 一 zw% | 的 证 明 , 留 给 读者 恩 考 . 国 


Dress 
定理 2.4 为 判断 不 动 点 迭代 法 的 收敛 性 提供 了 依据 ,这 种 收敛 不 依赖 于 初 值 x。 的 选 
取 , 因 此 称 为 全 局 收敛 . 为 了 方便 应 用 ,也 可 以 将 定理 2. 3 和 定理 2.4 中 的 第 二 个 条 件 替 换 
为 : 对 任意 zxE [a,6j, 有 Ig (zx) | 三 L<1, 其 中 工 为 常数 ,得 到 便于 使 用 的 定理 2. 5. 
定理 2.5: 设 g(x)ECLa,b], 且 满足 如 下 两 个 条 件 : 
(1) 对 任意 xE[La,0]j], 有 a<op(7z)<b. 
(2) 存在 正常 数 LL 二 1, 使 对 任意 xE[a,6b], 有 |9 (x)| 志 L<1. 
则 对 于 任意 初 值 z。 ELa,0j, 由 不 动 点 迭代 法 得 到 的 序列 {x} 收敛 到 g(x) 的 不 动 点 zx” ,并 
有 误差 估计 
实 洋 


EA 


| zi —z0 1. 


L 
此 定理 可 看 成 定理 2.4 的 推论 ,其 证 明 留 给 读者 思考 .应当 注意 , 当 考 虑 函数 定义 域 为 RR 
时 ,定理 2.5 中 的 条 件 (1) 就 不 需要 了 . 这 可 以 看 成 应 用 定理 2. 5 的 一 种 特殊 情况 . 


例 2.5( 不 动 点 迭代 法 的 收敛 性 ): 对 于 求 f(z) 二 x* 一 + 一 2 二 0 在 zo 二 1.5 附近 的 根 的 
问题 ,使 用 定理 2.5 考察 例 2. 4 中 两 种 方法 的 全 局 收敛 性 . 
【 解 】 在 区 间 [1,2] 上 考察 如 下 两 种 不 动 点 迭代 法 的 收敛 性 : 
方法 (A) : zen 二 xt 一 2, (k= 二 0,1,…). 
方法 (B) ， zeit = YYxrT2,(k=0,1,.…). 
ee 
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很 容易 看 出 ,方法 (B) 符 合 定理 2.5 中 的 条 件 (1) ,而 VCz) 一 于 (z 十 2)-% ,也 符合 条 件 


(2) ,因此 方法 (B) 具 有 全 局 收敛 性 . 而 对 于 方法 (A), 它 不 符合 定理 中 的 条 件 (1) ,因此 无 法 
根据 定理 2.5 说 明 其 具有 全 局 收敛 性 . 国 
关于 全 局 收敛 性 再 说 明 两 点 . 
(1) 定理 2.4 和 定理 2.5 给 出 的 都 是 不 动 点 迭代 法 全 局 收敛 的 “充分 条 件 ”, 也 就 是 说 ， 
对 一 些 满 足 条 件 的 方法 可 以 证 明 其 具有 全 局 收敛 性 ,但 根据 它们 并 不 说 明 某 个 方法 不 具有 
(2) 全 局 收敛 性 要 求 初始 值 x。 为 定义 域内 任意 值 时 不 动 点 迭代 法 都 收敛 ,这 常常 是 很 
难 达 到 的 要 求 . 


2.3.3 局 部 收敛 性 


不 同 于 全 局 收敛 性 ,下 面 给 出 重要 的 局 部 收敛 性 的 概念 . 

定义 2.2: 设 函 数 g(x) 存 在 不 动 点 x ,车 存在 x* 的 某 个 邻 域 D:Lx* 一 6,x* 十 6j, 对 于 任 
意 初 值 zx E 了 ,人 欠 代 法 ZeH 一 pm 产生 的 解 序列 {zx} 收 敛 到 ZX” , 则 称 和 代 法 局 部 收 伍 ， 

这 个 定义 中 的 邻 域 是 以 z” 为 中 心 点 的 一 个 对 称 区 间 ,局 部 收敛 性 的 定义 要 求 的 是 存在 
这 样 一 个 邻 域 ,而 不 关心 它 的 大 小 . 定理 2.6 给 出 迭代 法 局 部 收敛 的 充分 条 件 . 

定理 2.6: 设 x* 为 函数 p(x) 的 不 动 点 , 若 g (zx) 在 x* 的 某 个 邻 域 上 连续 ,是 |y (x* )| 一 
1, 则 不 动 点 迭代 法 z+ 三 p(x) 局 部 收敛 . 

【证 明 】 因为 g(x) 在 z==z* 附近 连续 且 |g (zx* )| 二 1, 则 存在 zx* 的 菜 个 邻 域 D, 使 得 
对 于 任意 的 XED,|g (zx) | 三 L, 其 中 ,L 是 某 个 介 于 |g (x* ) | 和 1 之 间 的 数 , 例如 工 = 


和 全 全 二 显然 上 一 1, 即 满足 定理 2. 5 的 条 件 (2). 另外 ,对 VzED， 


了 人 PCZ) 一 PCz ) 9 (EO (一 ), é&€E DD, = 
[we =" I<LIz=%" |<lzs = |; 
即 p(x) ED, 满 足 定理 2.5 的 条 件 (1). 
因此 ,根据 定理 2. 5, 此 迭代 法 对 区 间 D 内 的 任意 初 值 都 收敛 ,根据 定义 2. 2 知 , 此 办 代 
法 局 部 收敛 . 图 
对 比 定理 2.6 和 定理 2.4 及 定理 2.5 可 以 看 出 ,定理 2.6 的 条 件 较为 宽松 , 它 只 需 考察 
函数 g(z) 在 zx" 这 一 点 上 是 否 满足 要 求 . 因此 ,不 动 点 迭代 法 较 容易 具有 局 部 收敛 性 ,对 局 
部 收敛 的 判断 也 相对 简单 . 
最 后 说 明 一 点 ,定理 2.5 说 明 李 普 希 兹 系数 工 越 小 迭代 收敛 的 速度 越 快 ,而 定理 2.6 的 
证 明 过 程 说 明了 工 与 |9 (zx* )| 的 关系 . 因此 ,车 lg (x* )| 越 小 ,迭代 收敛 的 速度 就 越 快 . 


2.3.4 稳定 性 与 收敛 阶 


与 二 分 法 类 似 , 不 动 点 迭代 法 的 每 步 计 算 都 可 以 通过 判 停 准则 (包括 考察 f(x) 是 否 接 
近 0) 来 评估 解 的 准确 度 ,因此 解 的 误差 容易 被 及 时 发 现 和 纠正 . 只 要 迭代 过 程 是 收敛 的 , 误 
差 将 随 迭 代步 的 增加 逐渐 趋 于 零 , 而 不 会 像 某 些 算 法 的 舍 入 误差 会 随 迭 代 过 程 逐 渐 累积 . 
因此 ,收敛 的 不 动 点 迭代 法 总 是 稳定 的 . 在 本 章 后 续 算 法 的 讨论 中 ,将 不 再 关心 稳定 性 ,而 
将 重点 放 在 收敛 性 的 讨论 上 . 
对 于 收敛 的 迭代 法 ,其 收敛 速度 的 快慢 也 很 重要 , 它 关 系 到 达到 特定 的 准确 度 需 要 多 少 
。 38 。 
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步 迭 代 , 也 就 是 需要 多 少 计算 量 . 下 面 先 看 一 个 例子 ,然后 给 出 收敛 阶 的 概念 用 于 衡量 迭代 
收敛 的 速度 . 

例 2.6( 和 迭代 收敛 速度 ) : 假设 有 (1) 一 (3) 3 个 迭代 求解 过 程 ,其 迭代 解 的 误差 |e(xi) | 二 
Ix 一 x* | 随 迭 代步 变化 情况 分 别 为 

(LY TO 10 + 10 4 10 3s 

《的 10 <10 10 

C3 T1057 107 10 10 

很 显然 ,迭代 法 (1) (2)、(3) 的 收敛 速度 是 不 同 的 ,方法 (3) 收 敛 得 最 快 , 而 方法 (1) 收 敛 
得 最 慢 . 再 仔细 观察 ,发现 对 于 (1) 和 (2), 相 邻 步 误 差 的 比例 为 一 常数 : 对 于 方法 (1)， 
|e(Czti)/e(Cz)| 王 10-1; 对 于 方法 (2) ,|e(Czti)/e(Cze)| 王 10-2.， 而 对 于 方法 (3) , 相 邻 步 误 
差 的 比值 逐步 变 小 ,因此 , 它 表 现 出 更 快 趋 于 0 的 收敛 过 程 . 国 

定义 2.3; 设 一 个 迭代 解 序列 {xo ,zi ，…,z…}) 收 敛 于 准确 解 x* ,车 迭 代 解 的 误差 
e(zx) 二 zi 一 Xx* ,k= 二 1,2,… 满足 以 下 渐进 关系 : 

lim = "(CAE 

则 称 迭 代 过 程 是 p 阶 收敛 的 ,或 收敛 阶 为 p. 

关于 这 个 定义 要 注意 的 是 ,对 一 个 迭代 法 其 收敛 阶 p 的 值 是 唯一 的 ,车 取 其 他 值 会 使 
极限 值 为 0 或 无 穷 大 ,此 外 ,这 个 定义 也 适合 于 非 线性 方程 求解 以 外 的 其 他 迭代 过 程 . 

根据 定义 2. 3 ,前 面 例 2.6 中 3 个 迭代 过 程 的 收敛 阶 分 别 为 

(1) 1 阶 收敛 ,c 王 10 . 

(2) 1 阶 收敛 ,c 二 10 

(3) 2 阶 收 化 ,c=1. 

而 对 于 二 分 法 来 说 , 它 大 体 上 具有 1 阶 收敛 性 ,收敛 常数 c==0. 5. 

对 于 收敛 阶 为 1 的 迭代 法 , 称 为 线性 收 仇 ; 若 收敛 阶 p 记 1, 称 为 超 线 性 收 化 ;p 二 2 对 应 
的 迭代 法 为 平方 收敛 . 收敛 阶 p 越 大 , 则 足够 大 以 后 ,|e(zi) | 二 1, 解 误差 的 衰减 速度 就 
越 快 . 因此 ,收敛 阶 越 高 ,迭代 法 收敛 得 越 快 ,计算 量 也 越 少 ,所 以 我 们 往往 寻求 收敛 阶 尽量 
高 (比如 超 线性 收敛 ,2 阶 收敛 ) 的 迭代 法 . 

对 于 收敛 阶 为 整数 的 迭代 法 ,下 面 的 定理 给 出 了 判断 方法 . 

定理 2.7: 对 于 不 动 点 迭代 法 ze 一 p(Cz) , 若 在 所 求 根 x* 的 邻 域 上 函数 p(x) 的 p 阶 导 数 
连续 ,p 宇 2, 则 该 迭代 法 在 x* 的 邻 域 上 p 阶 收敛 的 充分 必要 条 件 是 :yg (x* ) 一 gz) 一 … 一 
pe (zx’*)=0, 有 8 yg? (zx* ) 天 0. 

【证 明 】 先 证 明 充 分 性 . 根据 定理 2.6 很 容易 看 出 该 迭代 法 是 局 部 收敛 的 ,然后 根据 
定义 2. 3 考察 其 收敛 阶 . 


A nt sD 


= x) mr) te m+ 


(p—1) x .x pl 卫 (p) x 
toe” 《过 NO x * 十 区 9 (Exe i 
= 9 (Cr 一 并 De (2. 9) 
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其 中 & 为 ze 和 zx” 之 间 的 某 个 数 . 因此 ,从 公式 (2.9) 可 以 推出 : 


: | e(CZkH ) | 
i Tecz) PF 


最 后 一 个 等 式 是 由 于 zx; 的 极限 是 z* ,所 以 名 的 极限 也 是 z* ,再 根据 定义 2.3, 即 证 明 该 过 
代 法 p 阶 收敛 . 

再 证 明 必 要 性 . 采用 反 证 法 ,车 g (x),Y (ze* ),… ,gw (zx* ) 的 值 不 同 于 定理 中 所 描 
述 的 , 即 从 g(x* ) 开 始 的 各 阶 导数 中 有 连续 4 个 为 零 (g 关 p 一 1) ,而 第 g 十 1 阶 导数 不 为 零 ， 
则 根据 前 面 对 充 分 性 的 证 明 可 知 ,此 方法 为 g 十 1 阶 收 仇 ,而 g 十 1 天 户 ,这 与 户 阶 收敛 的 条 件 
矛盾 ,因此 必要 性 得 证 . 加 

对 于 足够 光滑 的 函数 p(z) ,定理 2. 7 给 出 了 不 动 点 迭代 法 zi41 二 q(x) 在 x" 邻 域内 收 
敛 性 质 的 判定 依据 , 即 通过 考察 x* 处 g (z* ) 及 更 高 阶 导数 值 是 否 为 零 , 便 可 判断 该 方法 的 
收敛 阶 . 应 当 注 意 的 是 ,这 个 判 据 得 到 的 是 局 部 收敛 的 有 关 性 质 ,也 称 为 局 部 收敛 阶 . 

定理 2.7 涉及 xz* 这 个 不 确定 的 值 ,有 时 为 了 方便 也 可 考察 整个 有 根 区 间 [a,6] 上 p(x) 
的 各 阶 导数 的 值 .例如 , 若 对 于 任意 zE [a, 妇 ,8(z) 天 0, 则 此 迭代 过 程 只 可 能 线性 收 伍 . 


i co 二 .0 
rh (&) Bl (zi) 天 人 


2.4 牛顿 近代 法 


前 面 介绍 的 不 动 点 迭代 法 是 一 大 类 方法 ,在 实际 应 用 时 其 形式 多 种 多 样 ,收敛 性 质 也 是 
好 坏 不 一 .本 节 介绍 的 牛顿 (Newton) 迭 代 法 ?是 一 种 被 广泛 使 用 的 方法 , 它 具 有 比较 固定 
的 公式 ,因此 减少 了 构造 不 动 点 迭代 法 的 盲目 性 ,并 且 它 具有 局 部 收敛 性 和 较 高 的 收敛 阶 . 


2.4.1 方法 原理 


下 面 结合 图 2-5 介绍 牛顿 法 的 构造 思想 . 图 2-5 中 显示 了 函数 y= 二 f(x) 的 曲线 ,我 们 
要 求 方 程 f(z) 二 0 的 根 zx" , 即 求 该 曲线 与 横 坐 标 轴 的 交 
点 . 假设 已 得 到 第 个 近似 解 x ,可 用 如 下 方法 得 到 下 一 个 
近似 解 ze+1( 希 望 它 更 接近 x* ): 先 求 出 f(x) 在 x 二 x 处 
的 切线 , 设 切 线 方程 为 y 王 P(x), 它 是 一 次 多 项 式 函 数 ,用 
P(z) 近 似 f(x), 则 P(x)=0 的 根 就 是 新 的 近似 解 zi+1. 从 
几何 的 角度 看 ,就 是 将 切线 与 横 轴 交点 处 的 工 值 作为 下 一 
步 近 似 解 . 图 2-5 牛顿 法 的 构造 思想 

采用 点 和 斜 式 公式 ,切线 方程 为 

P(z) = f(x) (zx— Zz)f (ze). 


解 方程 PCz) 王 0, 得 到 
f (ze) C2. 10Y 


THT 
公式 (2.10) 便 是 牛顿 法 的 迭代 计算 公式 . 
这 样 , 任 给 一 个 非 线 性 方程 f(x) 二 0, 可 得 到 牛顿 迭代 法 . 


四 又 称 为 牛顿 - 拉 弗 森 方 法 (Newton-Raphson method). 
人 
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算法 2.3: 解 单个 非 线 性 方程 的 牛顿 迭代 法 . 

输入 : zo ,函数 f(x) ; 输出 : z. 

k:=0; 

While | f(x)|>a 或 |zxi xii|>e do 
和 


Sy ee 


k :=k 二 1; 
End 


入 


牛顿 法 也 是 一 种 不 动 点 兢 代 法 ,相应 的 公式 (2.7) 中 的 函数 9(7) 二 x 一 兵 芒 
证 计算 的 可 行 性 ,应 用 牛顿 法 时 要 求 六 (ze) 天 0,R 一 0,1,2，… 
下 面 考察 牛顿 法 的 局 部 收敛 性 和 收敛 阶 . 假设 f(x* ) 关 0, 即 x* 为 方程 FCz) 一 0 的 单 
根 ( 根 据 定义 2. 1) ,我 们 来 看 看 g(x* ) 的 值 . 
EC 
[LF Cr)F EDT 
对 g(x) 再 求 导 一 次 ,进行 公式 整理 得 到 


为 了 保 


9 (x) 一 1 一 > 9 (x* ) 一 0. 


f(x 
flz 
一 般 情况 下 ,g(x* ) 才 0. 根据 定理 2.6 和 定理 2.7， es 
定理 2.8: 设 x" 是 方程 f(x) 二 0 的 单 根 , 且 f(x) 在 x* 附近 有 连续 的 2 阶 eh 
法 产生 的 解 序列 至 少 是 局 部 2 阶 收敛 的 . 
例 2.7( 牛 顿 法 ) : 采用 牛顿 法 求 方程 
(zxz) 一 2 一 一 2 一 0 


(2.. 11) 


LAE ) = 


在 1.5 附近 的 实 根 . 
【 解 】 牛顿 法 的 计算 公式 为 


a 证 
fe) 一 32 十 2 ,1,2,..., (2. 12) 


Dy) 1 
设 初始 值 为 zo 二 1.5, 代 入 公式 (2. 12) 依 次 算出 各 个 迭代 解 , 列 于 表 2-2， 从 表 中 数据 可 以 
看 出 ,到 第 四 步 迭 代 , 解 的 前 5 位 有 效 数 字 已 经 不 变化 了 ,看 出 迭代 过 程 收敛 很 快 . 
表 2-2 采用 牛顿 法 求解 例 2.7 的 过 程 和 结果 


4 


1. 3532 


此 例 与 前 面 的 例 2.2、 例 2.4 求 解 的 是 同一 个 方程 ,将 它们 进行 对 比 也 可 以 看 出 ,牛顿 
法 比 二 分 法 和 不 动 点 迭代 法 收敛 都 快 ,这 体现 了 2 阶 收敛 性 的 优势 . 
例 2.8( 用 牛顿 法 算 平方 根 ) : 要 求 方程 
f(x)=7rx c=0, c>0 
的 正 根 z* . 试 分 析 采 用 牛顿 法 求解 过 程 的 收敛 性 质 . 


证 和 
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【 解 】 列 出 牛顿 法 计算 公式 : 


2 
2 a 
| a (0 
由 于 了 (x* ) 关 0, 且 六 (x* ) 关 0, 根 据 定理 2.8 知 ,公式 (2.13) 局 部 2 阶 收敛 . 国 


男 外 需要 说 明 的 是 ,迭代 公式 (2. 13) 对 任意 z 二 0 都 是 收敛 的 ,也 就 是 说 在 区 间 
(0, 十 cc) 上 是 全 局 收敛 的 . 应 注意 ,由 于 对 开 区 间 定 理 2.4 和 定理 2. 5 不 适用 ,不 能 利用 它 
们 说 明 迭 代 公 式 (2. 13) 的 全 局 收敛 性 质 . 

对 迭代 计算 公式 (2. 13) 进 行 配方 处 理 , 得 到 两 个 等 式 


zu 一 天 = 二 (一 VD (2.14) 
3 

Ttl HE = 十 Vc)2， (2 15 
k 

将 公式 (2. 14) 除 以 公式 (2. 15) 得 
| (2.16) 
Thtl 十 Vc Tk 十 Vc 
反复 推导 可 得 
zu ae (2) 
zante zo tc 


从 公式 (2.17) 可 看 出 ,对 任意 ze 之 0, 有 


了 去 1, 因 此 等 号 右边 的 项 随 & 的 增 大 


Xo 


极限 为 0, 也 就 是 说 一 一 一 二 习作 的 家 限 为 0， 即 zi+i 将 收敛 到 Vc. 这 便 说 明了 求解 此 问题 的 牛 


顿 法 公式 (2. 13) 在 区 间 (0, 十 cc) 上 是 全 局 收敛 的 . 
上 述 结论 说 明 , 公 式 (2. 13) 是 计算 平方 根 Vc 的 稳定 算法 ,由 于 计算 过 程 中 只 有 加 、 减 、 
乘 \ 除 等 简单 运算 ,因此 也 是 计算 机 上 实际 使 用 的 求 平方 根 算法 . 


2.4.2 重 根 的 情况 


前 面 对 x* 是 方程 f(z) 二 0 的 单 根 的 情况 分 析 了 和 牛顿 法 的 收敛 性 ,下 面 考虑 x* 是 m 重 
根 (m 宇 2) 的 情况 . 根据 定义 2.1, ?Cx* )==0,j==1,2,…,m 一 1 而 f(x* ) 关 0， 此 时 
g(x) 的 计算 公式 中 分 母 为 零 ,无 法 利用 定理 2.7 判断 牛顿 法 的 收敛 性 . 下 面 直接 根据 
定义 2. 3 进行 分 析 . 考察 相 邻 迭代 步 误差 的 变化 情况 ,由 公式 (2. 10) 得 出 : 


(4 
e(ZH) 一 ZHl 一 = e(r) pe ) 
入 e(Xi1) ] f(x) = 
e(xx) fF Cm = 


>， A Ja 
1 一 :一 7 7 
《2 


。 42 。 


第 2 章 非 线 性 方程 求 根 


co 


区 a ja 一 
1 2 


1 co 
> 1 _ | 
(x1—z 让 2 te ye )] 
ST oe 
2 (we (me 
和 
3 1 pp (zs js — z* jn 
rl | 
ee ey 
er jp) 
下 一 i=m 
(站 四 i 
pes (zx* ) (ze — 2*) 
1 1 十 ai 一) 十 (ze CO— x* )? 十 
moze —zr’ )b (rc — rT ) + 


在 上 述 推导 中 ,对 /Czs) 和 (zs) 在 zx* 这 点 上 进行 了 泰勒 展开 ,最 后 的 式 子 中 的 ai、b; 为 与 
无 关 的 常数 .因此 
lim ZH 一 1 一 工 . (2.18) 
Ac e(CzZk) m 
这 表明 牛顿 法 为 局 部 线性 收敛 ,收敛 常数 < 一 1 一 二 , 根 的 重 数 加 宇 2, 因此 0. 5 过 ec 过 1， 从 这 
个 角度 看 ,如 果 用 牛顿 法 求 重 根 , 则 其 收敛 性 并 不 比 二 分 法 更 好 . 
2.4.3” 判 停 准则 


在 迭代 方法 的 实现 中 ,使 用 合适 的 判 停 准则 是 非常 重要 的 . 它 既 影响 迭代 步 数 , 即 整 体 
计算 效率 ,也 影响 结果 的 准确 度 . 对 于 二 分 法 ,我 们 可 方便 地 计算 结果 的 误差 限 ,根据 有 根 
区 间 的 长 度 就 可 以 确定 迭代 过 程 停止 的 条 件 . 而 对 于 一 般 的 不 动 点 迭代 法 (包括 牛顿 法 )， 
较 难 直接 估计 误差 限 , 迭 代 过 程 的 判 停 准则 主要 有 三 种 . 

(1) 残 差 判 据 , 即 要 求 | f(z) | 过 i ,其 中 ,ei 为 某 个 阔 值 . 

(2) 误差 判 据 , 即 要 求 |xiti 一 x | 三 ez ,其 中 ,es 为 某 个 姜 值 . 

(3) 相对 误差 判 据 , 即 要 求 | zxx+1 一 zi | 三 es | ztl|l ,其 中 人 s 为 某 个 冰 值 . 

残 差 判 据 和 误差 判 据 都 有 一 定 道理 ,但 也 有 人 缺陷, 当 问题 比较 敏感 时 (例如 求 重 根 或 
六 (zz ) 很 小 的 情况 ) ,| f(x) | 很 小 并 不 意味 着 zx 很 接近 zx. 而 当 近 似 解 序列 (x4) 收敛 很 
慢 时 , |x 一 zi | 很 小 并 不 能 说 明 | ze 一 z | 很 小 . 因此 ,在 实际 应 用 时 往往 将 这 三 种 判 据 
组 合 起 来 使 用 ,有 时 也 需要 根据 问题 特点 和 经 验 额外 设置 条 件 . 


2.4.4 牛顿 法 的 问题 


当 jz) 满 足 2 阶 导 数 连续 , 且 二 为 它 的 单 根 时 ,牛顿 法 在 局 部 范围 内 2 次 收敛 . 然 
而 , 当 这 些 假设 不 满足 时 ,牛顿 法 可 能 变 得 非常 不 可 靠 . 若 f(x) 不 具有 连续 的 2 阶 导数 ,或 
者 初始 解 不 足够 地 靠近 准确 解 , 那 么 它 可 能 收敛 得 很 慢 , 或 者 根本 不 收敛 . 
下 面 构造 一 个 极端 的 例子 说 明 这 个 问题 . 在 这 种 极端 情况 中 ,牛顿 法 的 迭代 解围 绕 
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Z 一 4 这 一 点 不 断 地 来 回 跳动 ,要 出 现 这 种 情况 , 则 


ZU a =—=— (zx: — a), 
即 
_ fx) 加 
Zk ey a 0 
车 有 一 个 函数 (zx) 满足 
AD 
这 a fF) (ZX Ws (2, 19) 


则 用 牛顿 法 求解 f(z) 二 0 时 ,无 论 取 什么 初始 值 ,后 续 的 迭代 解 都 将 围绕 点 a 不断 地 来 回 
跳动 ,这 样 无 限 循环 下 去 . 方程 (2. 19) 实 际 上 是 一 个 可 分 离 的 常 微分 方程 


Pa 
f(a) ‘2(z=a) 


用 微 积分 的 知识 ,很 容易 求 出 
f(z)= sign(z=a) | z=a|. 
方程 f(x) 二 0 的 准确 解 为 x* 二 a. 采用 牛顿 法 求解 该 方程 的 过 程 如 图 2-6 所 示 ,其 中 ,参数 
4 一 2. 
在 图 2-6 中 , 画 任何 一 点 处 的 切线 , 它 与 工 轴 的 交点 都 处 于 z=a 的 另 一 侧 . 根据 上 面 
的 推导 ,我 们 知道 ,牛顿 法 求解 该 问题 时 的 迭代 人 解 


ES 
直 往返 于 x==a 的 两 侧 , 既 不 收敛 也 不 发 散 . ol 1 
进一步 的 分 析 表 明 ,在 这 个 例子 中 ,ze 时 | 2 
六 (z) 无 界 , 因 此 1 阶 导数 不 连续 ,牛顿 法 的 收敛 理 | | 


论 不 成 立 . 
小 结 一 下 ,牛顿 法 仍 有 如 下 三 方面 的 不 足 之 处 ， “5 
(1) 无 法 保证 全 局 收敛 性 ,也 就 是 说 ,如 果 初 始 -0[ 

解 x。 不 在 局 部 收敛 的 范围 内 ,迭代 过 程 可 能 发 散 . 2 05 10 15 20 25 30 35 40 
(2) 对 函数 的 连续 性 要 求 较 高 ,需要 f(x) 在 xz” 图 2.6 车 顿 法 不 收 化 的 一 个 例子 

附近 有 连续 的 2 阶 导 数 . 

(3) 每 步 迭 代 都 要 计算 1 阶 导 数 /(x) ,其 计算 量 可 能 较 大 ,或 根本 无 法 计算 . 


2.5 ” 割 线 法 与 抛物 线 法 


本 节 和 下 一 节 介 绍 的 几 种 方法 将 试图 对 牛顿 法 的 缺点 进行 弥补 . 
2.5.1 割 线 法 


要 避免 计算 导数 ,一 种 最 简单 的 做 法 是 仅 在 ze 对 应 的 函数 曲线 处 做 切线 ,以 后 通过 做 
平行 弦 得 到 后 续 的 近似 解 ,如 图 2-7 所 示 . 此 方法 称 为 平行 弦 法 , 它 的 迭代 计算 公式 为 
PCE 
Ca 
但 是 此 方法 的 明显 缺点 是 收敛 性 较 差 ,一 般 仅 当 z 非常 接近 准确 解 时 才 有 和 较 好 的 收敛 性 . 


(k= 0,1,2,.). 


Tet1 Tk 
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害 线 法 的 基本 思路 是 用 差 商 " 来 近似 导数 ,从 而 避免 复杂 的 导数 计算 ,利用 相 邻 两 次 迭 
代 的 函数 值 做 差 商 ,得 
WC F(z) AC = 


Tk Tel 


这 在 几何 图 形 上 就 是 函数 曲线 的 割 线 ,那么 割 线 与 横 轴 的 交点 就 是 下 一 个 近似 解 ,如 图 2-8 
所 示 . 割 线 方程 为 


1 


Pi (ny (es 
TE Tl 
了 y 
| 
I 
1 
I 
f 
5 Xktl Xk 7 
图 2-7 平行 弘法 图 2-8 制 线 法 
求解 方程 PCz) 王 0, 得 到 下 一 个 近似 解 
IC 


二 Ch = 
i 


下 面 给 出 割 线 法 的 算法 描述 . 


算法 2.4: 解 单个 非 线 性 方程 的 割 线 法 . 
A Cr 

k :一 1; 

While | f(x)>e | 或 |z:— zi |>ez do 


a jC 
VAC TA) 


khHI 一 2 (9 


k :==k 十 1; 
End 


= 


割 线 法 可 看 成 是 一 种 广义 的 不 动 点 迭代 法 ,定理 2. 9 说 明了 它 的 收敛 性 . 
定理 2.9: 假设 f(x) 在 根 x* 的 邻 域 D:Lx* 一 9,z 十 6] 内 具有 2 阶 连续 导数 , 且 对 任 


意 zED 有 f(x) 关 0, 如 果 初 值 xo ,zi ED 充分 接近 x*, 则 制 线 法 将 按 阶 p— Lt 
1. 618 收敛 . 

这 个 定理 的 证 明 参 见 文献 L6]. 应 当 注 意 , 割 线 法 避免 了 导数 计算 , 且 具 有 超 线 性 的 收 
敛 速度 ,但 它 需 要 两 个 初始 值 . 上 面 两 种 方法 都 将 牛顿 法 中 的 导数 计算 替换 成 近似 导数 , 因 


下” 


@ 关于 差 商 的 详细 定义 见 6. 5 节 . 
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此 也 被 称 为 拟 牛 顿 法 (quasi-Newton method). 
2.5.2 抛物 线 法 


割 线 法 使 用 前 两 个 近似 解 得 到 下 一 个 解 ,将 此 思路 进行 扩展 ,可 考虑 利用 前 3 个 近似 解 . 
一 般 地 ,前 3 个 解 mw- zi 和 六 ,及 其 对 应 的 函数 值 f(x-z)、f(z-1) 和 了 (zs) 可 唯一 确定 一 
个 二 次 多 项 式 , 若 将 它 看 成 原 函 数 y 二 f(x) 的 近似 , 则 求解 这 个 一 元 二 次 方程 得 到 的 根 就 可 作为 
迭代 过 程 的 下 一 个 解 . 由 于 平面 上 通过 3 个 点 的 曲线 为 抛物 线 , 由 此 导出 的 方法 称 为 抛物 线 法 . 

抛物 线 法 又 分 两 种 . 一 种 方法 是 根据 3 个 已 知 点 构造 关于 z 的 二 次 多 项 式 ( 抛 物 线 )， 
求 这 个 抛物 线 与 x 轴 的 交点 作为 下 一 个 迭代 解 . 求 二 次 多 项 式 的 方法 一 般 用 插值 法 ,因此 
这 种 方法 称 为 二 次 插值 法 . 关于 插值 法 的 细节 将 在 第 6 章 介绍 ,这 里 不 做 讨论 . 

二 次 插值 法 得 到 的 抛物 线 可 能 不 与 x 轴 相交 ,因为 二 次 方程 未 必 有 实数 根 . 所 以 抛物 
线 法 的 另 一 种 方法 是 将 这 3 个 点 插值 为 关于 y 的 二 次 函数 P,(y), 即 得 到 通过 这 三 点 的 “ 侧 
向 抛物 线 ”. 这 个 二 次 函数 P,(y) 满 足 方 程 

ves = PC lw) 
ze = PCFze)) 
zx: = Ps(f (zx)) 
只 要 f(x-2)、flzxi-1) 和 fz 3 个 值 互 不 相等 ,抛物 线 
ZX 三 P,(y) 就 可 以 构造 出 来 ,并 且 它 一 定 与 x 轴 有 交点 (如 
图 2-9 所 示 ). 在 交点 处 y 二 0, 对 应 的 值 为 下 一 步 迭 代 解 
图 2-9 逆 二 次 插值 法 求 近似 根 zi = P;(0)。 
这 种 方法 称 为 逆 二 次 插值 法 (inverse quadratic interpolation). 
如 果 f(ze-z)、fCzw-1) 和 f(x) 这 3 个 值 中 有 两 个 相等 , 逆 二 次 插值 法 将 退化 为 制 线 法 . 

理论 上 可 以 证 明 , 两 种 抛物 线 法 都 有 具有 超 线 性 收敛 速度 ,其 共同 的 收敛 阶 p 守 1. 839( 参 
见 文献 [1j)， 此 外 ,抛物 线 方法 也 是 局 部 收 和 敛 的 ,因此 ,迭代 的 初始 值 须 尽 量 接近 准确 解 . 

虽然 抛物 线 法 不 需要 计算 导数 , 且 收 敛 很 快 ,但 它 需 要 3 个 初始 值 ,而 且 收 敛 性 质 不 太 
稳定 (局 部 收敛 ), 因 此 往往 与 其 他 方法 结合 起 来 使 用 . 在 实际 应 用 中 ,二 次 插值 法 经 过 发 展 
可 用 于 求 多 项 式 方程 的 复数 根 ,如 Muller 方法 (参见 文献 L1]). 而 逆 二 次 插值 法 与 其 他 方 
法 结合 得 到 实用 的 zeroin 算法 ( 见 2. 6.3 节 ). 


2.6 实用 的 方程 求 根 技术 


2.6.1 阻尼 牛顿 法 


当初 始 值 z 偏离 准确 解 x* 较 远 时 ,牛顿 法 可 能 发 散 . 为 了 防止 这 种 情况 ,在 得 到 牛顿 
法 的 下 一 步 解 后 ,可 引入 一 个 阻尼 因子 缩小 解 的 改变 量 . 然后 通过 单调 性 要 求 
| f(x) |<| fx) |, k= 0,1,2,. 
判断 新 的 解 是 否 可 接受 . 设 阻 尼 因 子 为 X;, 则 迭代 新 解 为 


f(T) 


rd (2. 20) 
Y k 


np 


这 个 方法 称 为 阻尼 牛顿 法 ,算法 描述 如 下 . 


人 
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算法 2.5: 阻尼 牛顿 法 . 
输入 : Zo， 畏 数 f(x) ; 输出 : z. 
Rk :==08 
While | f(x)|>6 或 |z 一 zi 二 6 do 
Se i 
WC 
Thtl :一 Ze S53 
2 == (> 
While| f (zr1)| 宇 |f (zi)| do 
El Dr { 使 用 阻尼 因子 序列 {4;) } 
i :二 i 十 ]; 
End 
k:=k 二 1; 
End 


加 


算法 2.5 使 用 了 一 个 阻尼 因子 序列 {4 ,其 中 ,每 个 值 都 在 (0,1) 之 间 , 并 按 递减 顺序 排 
列 . 当 和 迭代 解 充分 靠近 准确 解 时 , 则 不 再 需要 阻尼 因子 的 调节 . 只 有 采用 值 接近 1 的 阻尼 因 
子 , 才 能 保证 超 线性 的 收敛 速度 . 应 指出 ,阻尼 牛顿 法 并 不 能 完全 克服 牛顿 法 的 缺点 ,只 是 在 
有 些 情 况 下 能 取得 较 好 的 效果 . 


2.6.2 多 项 式 方 程 求 根 


本 章 的 大 部 分 内 容 讨 论 的 都 是 求 单个 零点 的 问题 ,对 某 些 情况 ,比如 多 项 式 方程 ,有 时 

我 们 要 求 它 的 所 有 根 . 假设 n 次 多 项 式 方程 为 
P(x) = 十 qx 十 … 十 aniX 十 a 一 0， 

其 中 最 高 次 项 的 系数 为 1. 应 当 注意 ,即使 多 项 式 系数 都 是 实数 ,其 零点 也 可 能 是 复数 . 求 
其 所 有 根 的 方法 主要 有 如 下 三 类 . 

(1) 使 用 前 面 讨 论 的 任何 一 种 方法 ,比如 牛顿 法 或 抛物 线 法 求 出 一 个 根 zi ,然后 将 原 方 
程 收 缩 得 到 低 一 次 的 多 项 式 方程 P(x)/(zx 一 x1) 二 0, 对 它 重复 上 述 求 根 过 程 ,直到 求 出 所 
有 的 根 . 收缩 过 程 带 来 的 舍 入 误差 会 降低 解 的 准确 度 ,因此 可 针对 原 方程 P(x) 二 0 再 次 使 
用 牛顿 法 等 方法 提高 解 的 准确 度 . 而 对 于 复数 根 ,采用 抛物 线 法 等 技术 加 以 求解 .此 外 ,在 
求解 过 程 中 往往 需要 计算 多 项 式 的 值 P(x) 和 导数 值 P'(x), 这 可 通过 秦 九 韶 算 法 ( 算 
法 1. 1) 进 行 快速 计算 . 

(2) 根据 矩阵 特征 多 项 式 的 定义 ,将 多 项 式 方 程 求 根 问题 转化 为 矩阵 求 特征 值 的 问题 . 
根据 多 项 式 系数 ,可 定义 矩阵 


QI Ta dr Qnr 
明 0 0 0 
CG, = 0 1 0 0 
0 0 y 0 


Ee 
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和 矩阵 C, 称 为 多 项 式 P(x) 的 友 阵 (companion matrix) ,可 以 验证 矩阵 C, 的 特征 多 项 式 正 是 
P(z). 利用 求 矩 阵 特 征 值 的 算法 可 得 到 多 项 式 的 根 . MATLAB 软件 中 的 roots 函数 就 是 
用 此 方法 求 多 项 式 方程 的 根 的 . 该 方法 非常 稳定 、 可 靠 , 但 计算 量 和 存储 量 较 大 . 关于 计算 
矩阵 特征 值 的 方法 见 本 书 第 5 章 . 

(3) 利用 求 多 项 式 全 部 零点 的 专门 方法 . 这 些 方法 中 ,有 些 采 用 技巧 将 多 项 式 的 根 隔 
离 在 复 平 面 的 一 个 区 域内 ,然后 用 类 似 二 分 法 的 方法 对 根 进行 改进 ,还 有 一 些 收敛 更 快 的 方 
法 ,包括 拉 盖 尔 (Laguerre) 法 、Bairstow 法 等 . 在 某 些 情况 下 ,这 些 方 法 是 求 多 项 式 全 部 零 
点 的 最 有 效 方法 . 

在 上 述 三 类 方法 中 ,前 两 类 利用 了 已 有 的 一 些 算法 加 以 组 合 ,因此 较 容易 实现 ;第 三 类 
方法 的 算法 比较 复杂 ,但 目前 已 有 一 些 比较 好 的 软件 程序 ( 见 2.7.2 节 ). 


2.6.3 通用 求 根 算法 zeroin 


本 章 前 面 讨 论 的 各 种 方法 都 有 各 自 的 优 缺 点 ,对 于 一 般 的 非 线 性 方程 ,能 否 有 一 种 通用 
的 高 效率 的 求 根 方法 呢 ?” 下 面 介绍 一 个 称 为 zeroin 的 算法 , 它 由 Richard Brent 发 表 于 
1973 年 (因此 也 称 为 Brent 算法 ). 该 算法 将 二 分 法 的 稳定 性 和 抛物 线 法 、 割 线 法 的 快速 收 
敛 性 结合 ,是 一 种 较 通 用 、 高 效 的 求 根 算法 ,适合 于 求 单 根 的 情况 . 以 此 算法 为 基础 ， 
MATLAB 中 实现 了 针对 单 变量 连续 函数 求 根 问题 的 fzero 命令 . 

zeroin 算法 中 定义 ab\c 三 个 变量 ,变量 4 表示 当前 迭代 步 的 近似 解 ,变量 为 上 一 步 
的 5, 而 变量 a 的 作用 则 是 与 5 构成 有 根 区 间 。 算 法 主要 包括 如 下 步骤 . 

(1) 选取 初始 值 a 和 65, 使 得 f(a) 和 f(5) 的 正 负 号 正好 相反 . 

(2) 将 a 的 值 赋 给 c. 

(3) 重复 下 面 的 步骤 ,直到 | (4) |e 或 者 la 一 0| 达 es 165| ,sl 、e: 为 误差 控制 闵 值 . 

@ 若 /0) 的 正 负 号 与 f(a) 的 相同 ,将 c 赋值 给 a. 

@ 若 | f(a) | 过 | 02)|, 则 将 6 的 值 赋 给 c ,然后 对 调 c、2 的 值 . 

@ 如 果 c 关 a, 利 用 abc 以 及 它们 的 函数 值 做 逆 二 次 插值 法 的 一 步 迭 代 , 否 则 执行 割 
线 法 中 的 一 步 . 

@ 如 果 执 行 一 步 逆 二 次 插值 法 或 割 线 法 得 到 的 近似 解 “比较 满 意 ”, 将 它 赋值 给 5, 否则 
执行 一 步 二 分 法 得 到 5, 然 后 将 上 一 步 的 5b 赋值 给 c. 

在 上 述 算 法 步骤 中 ,@@ 和 @ 步 是 对 a、b、c 三 个 量 的 值 进行 调整 ,经 过 调整 后 必定 使 得 : 
了 (a) 和 了 (5) 的 正 负 号 相反 ,1 了 (0)| 志 |f(a)|,c 为 上 一 步 的 5. 因此 ,变量 2 总 是 存储 最 好 的 
近似 解 , 而 f(x) 在 a 和 6。 之 间 改 变 正 负 号 . 判断 逆 二 次 插值 法 或 割 线 法 得 到 的 近似 解 是 否 
满意 ,一 方面 要 看 它 是 否 落 在 有 根 区 间 内 , 男 一 方面 还 要 看 相 邻 迭代 解 之 差 是 否 在 缩小 ,此 
外 还 有 一 些 更 复杂 的 、 带 有 经 验 性 质 的 判 据 。 

以 图 2-10 中 的 f(x) 函数 为 例 ,执行 上 述 算 法 两 步 迭代 ,看 看 a、b、c 三 个 量 如 何 变 化 . 
ao 、bo 表示 初始 的 a 和 2 的 值 ,而 初始 的 co 二 a。。 由 于 |f(a) | 过 | 了 (0)| ,需要 调换 a6 的 值 ， 
即 得 到 新 的 wa 、b ,而 令 ca 一 2. 由 于 c 三 ai, 做 一 步 割 线 法 得 到 六, 看 出 它 是 满意 的 近似 
解 ,因此 更 新 c 的 值 为 cs 二 6 ,而 a 的 值 不 变 . 进入 下 一 步 迭 代 , 根 据 当 前 a.b、c 的 取 值 看 
出 ,不 需要 做 、@ 两 步调 整 ,而 由 于 cs 关 a; ,可 做 逆 二 次 插值 ,得 到 新 解 bs , 它 也 是 比较 “好 ” 
的 近似 解 ,因此 接受 并 更 新 c 的 值 为 cs 二 b,. 

按 上 述 过 程 可 继续 算法 的 执行 ,直到 满足 判 停 准则 . 应 注意 ,本 算法 的 判 停 准则 是 残 差 

局 
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图 2-10 zeroin 算法 的 示意 图 (ai ,bi ci 表示 每 次 经 过 调整 或 得 到 一 个 新 解 后 a、b\c 三 个 量 的 值 ) 


判 据 和 相对 误差 判 据 的 组 合 . 

zeroin 算法 将 方程 的 根 困 在 不 断 缩小 的 区 间 中 ,很 稳定 ,也 兼顾 了 制 线 法 、 逆 二 次 插值 
法 收敛 快 的 特点 . 它 的 主要 优点 如 下 . 

(1) 本 身 不 要 求 函 数 f(x) 具 有 光滑 性 . 

(2) 不 需要 计算 导数 (x) ,只 需要 有 办 法 算出 任 一 zx 对 应 的 f(x). 

(3) 初始 解 只 是 包含 准确 解 的 区 间 , 不 需要 和 准确 解 很 接近 . 

(4) 算法 简单 .稳定 ,每 步 迭 代 都 使 有 根 区 间 缩 小 . 

最 后 给 出 实现 zeroin 算法 的 MATLAB 语言 程序 代码 ,其 中 一 些 细节 需要 掌握 逆 二 
次 插值 的 计算 方法 才能 理解 . 感 兴趣 的 读者 可 进一步 研究 ,并 进行 有 关 的 实验 . 


function b=fzerotx (F,ab,varargin) 

久 为 函数 句柄 或 匿名 函数 ,表示 函数 f(x) ,ab 为 初始 有 根 区 间 [a,b] ,要 求 F(a) 和 FF(b) 符 号 相反 
%varargin 表示 传 给 函数 F 的 额外 参数 . 返回 值 b 为 一 个 很 小 区 间 的 端点 

% 例 子 : fzerotx (@ (x) sin (x), [1,4]) 


a=ab (1); % 检 查 输入 的 是 否 是 有 根 区 间 
b=ab (2); 初始 化 搜索 区 间 的 变量 a、b、c 
fa=F (a,varargin{:}); s 苑 数 求 值 


fb=F (b,varargin{:}); 
if sign(fa)==sign (fb) 


error('Function must change sign on the interval') 


end 
Cea 
fc=fa; 
d=b-c; 
e=d; 
while fb~ =0 s 主 循环 的 开始 
if sign (fa)==sign (fb) $s 调整 ab 的 值 ,使 函数 f(x) 在 它们 之 间 改 变 正 负 号 
a=c; fa=fc; 
d=b=er c=dy 
end 
if abs (fa)<abs (fb) s# 交 换 ab 的 值 ,因为 b 总 是 标记 最 优 解 


c= b=as a 
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应 用 实例 : 城市 水 管 应 埋 于 地 下 多 深 ? 


1. 问题 背景 与 建 模 
在 冬季 寒冷 的 大 城市 ,必须 保证 埋 于 地 下 的 水 管 干线 不 冻结 . 在 寒冷 季节 ,地 面 土壤 的 
温度 很 低 ,而 越 深 入 地 下 温度 越 高 ,因此 水 管 应 埋 得 越 深 越 好 ,但 相应 的 施工 难度 和 代价 也 
。 50 。 
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越 大 . 那么 在 保证 水 管 不 冻结 的 前 提 下 , 埋 水 管 的 深度 该 如 何 确定 呢 ? 

由 于 土壤 的 热传导 作用 ,冬季 寒流 到 来 后 地 下 土壤 的 温度 会 逐渐 降低 ,因此 它 既 是 关于 
深度 工 的 函数 ,也 是 关于 时 间 上 的 函数 . 在 越 深 的 地 方 ,土壤 温度 越 不 容易 降低 ,其 极限 温 
度 应 该 是 一 个 常量 ,表示 正常 的 土壤 温度 . 寒流 持续 的 时 间 越 长 , 某 一 个 深度 的 土壤 的 温度 
就 越 低 ,其 极限 值 是 地 面 的 温度 . 基于 上 述 分 析 , 可 以 假设 土壤 温度 T(x,t) 满 足 如 下 方程 : 


T(z,t) 一 Lor 
Ts— 1: i 
其 中 ,T; 是 寒流 到 来 前 的 正常 土壤 温度 (例如 20C);T 是 寒冷 季节 的 地 面 温度 ; 比例 
了 (2 区 = 人 
等 办 天 二 应 该 是 一 个 0~1 之 间 的 数 ,一 0 时 其 


值 为 1,z 一 0 时 其 值 为 0 上述 方程 中 使 用 了 一 个 函 
数 erf() 表 示 这 个 比例 ,其 函数 曲线 如 图 2-11 所 示 . 
深度 .、 案 流 持 续 时 间 1, 以 及 土壤 的 热传导 系数 a 2 


都 包括 在 函数 erf(z) 的 自 变 量 中 ,此 函数 被 称 为 误 . 
cr 一 1.0 上 


差 函 数 , 表 达 式 如 下 : 
i 图 2-11 误差 函数 erf(z) 的 函数 曲线 


2 人 
erf(x) = 一 | 。e 
二 
它 是 均值 为 0 方差 为 1/2 的 高 斯 ( 正 态 ) 随 机 分 布 的 积分 的 两 倍 , 当 x 宇 0 时 ,其 值 域 正好 在 
0 一 1 之 间 . 


ga 要 确定 pe a hp nan 
温度 ,那么 当 T(x,t) 二 0 对 应 的 工 值 就 是 所 求 的 填 埋 深度 了 . 因此 需求 解 非 线性 方程 
ye ne We es Ta)= 0. 


2. 方程 求解 与 结果 

如 果 工 单位 是 米 (m) ,t 的 单位 是 秒 (s), 则 热传导 系数 a 二 0.138。10 “m?/s. 假设 正常 
的 土壤 温度 T; 二 20'C , 案 冷 季节 地 面 温 度 ,二 一 15C ,寒流 持续 时 间 z 为 60 天 , 则 可 求解 
上 述 非 线性 方程 . 由 于 这 个 非 线 性 方程 的 解析 表达 式 很 复杂 ,计算 导数 比较 困难 ,可 用 实用 
的 zeroin 算法 求解 . 

在 MATLAB 中 ,函数 erfCz) 有 现成 的 命令 实现 , 需 
用 fzero 命令 或 者 前 面 给 出 的 fzerotx 程序 来 求解 它 . 

定义 函数 Twe(X) 的 程序 如 下 : 


自己 定义 一 个 函数 Tjipe(X) ,然后 利 


function T=t _ pipe (x) 


$s 地 下 x 米 深 处 土壤 温度 . 


Ti=20; 3 正常 土壤 温度 
Ts=-15; 8 寒冷 季节 地 面 温度 
tm= 60; s# 寒 流 持 续 天 数 
alpha=0.138e- 6; 

t=tmx 24* 60* 60; 3 将 时 间 单 位 换算 为 秒 


C=2* sqrt (alpha* t); 


。5] 。 


数值 分 析 与 算法 (第 2 版 ) 


T=Ts+ (Ti-Ts) * erf (x/c); 


然后 执行 如 下 命令 , 解 出 结果 . 


>>fzero(@t pipe, [0 5]) 
ans= 
0.676961854481937 
这 说 明 将 水 管 埋 于 地 下 大 约 0. 68m 深 处 是 最 合适 的 , 它 保证 在 上 述 假设 条 件 下 持续 60 
天 水 都 不 会 结 冰 . 实验 中 还 发 现 ,对 这 个 例子 zeroin 算法 迭代 了 7 步 ,在 各 步 中 使 用 了 制 线 
法 和 逆 二 次 插值 法 . 


2.7 非 线 性 方程 组 和 有 关 数 值 软件 


2.7.1 非 线 性 方程 组 


非 线 性 方程 组 的 求解 要 比 单个 非 线 性 方程 困难 . 一 方面 ,对 解 的 存在 性 、 解 的 个 数 和 收 
敛 性 的 分 析 更 加 复杂 ; 男 一 方面 , 随 着 方程 数目 增多 ,总 的 计算 量 也 迅速 增加 . 这 里 将 单个 
方程 的 解法 加 以 扩展 ,进行 简单 介绍 . 

记 一 般 的 非 线 性 方程 组 为 

FEY = 0y (C221 

其 中 ,xE R" ,函数 f: R" 一 R" ,0 代表 nn 维 零 向 量 . 对 于 这 个 求 多 维 空间 解 向 量 的 问题 ,不 动 
点 迭代 法 和 和 牛顿 法 仍然 是 可 行 的 办 法 . 

假设 将 方程 (2. 21) 经 过 等 价 变换 得 到 


X 一 SCx)， 
其 中 ,函数 g: R" 一 R”, 则 相应 的 不 动 点 迭代 法 计算 公式 为 
Xe = 8 (Xi). (2. 22) 


对 单个 方程 (xn 二 1 的 情况 ), 不 动 点 迭代 法 的 (局 部 ) 收 敛 性 主要 由 |g'(zx* ) | 决定 ( 定 
理 2.6). 对 于 非 线 性 方程 组 ,收敛 性 与 函数 g 的 雅 可 比 (Jacobi) 矩 阵 有 关 . 
定义 2.4: 令 J (x) 表 示 nn 维 多 元 函数 g: R" 一 R" 的 雅 可 比 纶 阵 , 它 是 一 个 nXn 维和 矩 
阵 , 它 的 元 素 值 为 
ggi(x) 
9 
其 中 ,gi;(x) 为 n 维 多 元 函数 g 的 第 i 个 分 量 . 
从 定义 2.4 可 以 看 出 , 雅 可 比 和 矩阵 依赖 于 具体 的 x 值 . 一 般 考察 的 都 是 x 二 x* ,x* 为 方 
程 (2.21) 的 准确 解 的 情况 . 下 面 的 定理 说 明了 不 动 点 迭代 法 的 收敛 性 与 雅 可 比 和 矩阵 
J。(x" ) 之 间 的 关系 . 
定理 2. 10: 对 于 求解 非 线 性 方程 组 的 不 动 点 迭代 法 xi+1 王 g(x) ,车 相应 的 雅 可 比 矩 阵 
J。Cx” ) 的 任意 特征 值 4 都 满足 |4| 二 1, 则 当初 始 解 向 量 充 分 接近 准确 解 时 ,不 动 点 近 代 法 
收敛 (局 部 收敛 ). 
定理 的 证 明 超 出 了 本 书 的 范围 ,这 里 不 做 介绍 . 应 用 定理 2. 10 时 并 不 需要 计算 出 所 有 
。 52 。 
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的 特征 值 , 更 多 讨论 见 第 5 章 . 另外 需要 说 明 的 是 ,与 单个 方程 的 情况 一 样 , 雅 可 比 矩 阵 的 
特征 值 越 小 ,迭代 收敛 的 速度 就 越 快 . 
作为 一 种 特殊 的 不 动 点 迭代 法 ,下 面 讨论 牛顿 法 求解 非 线 性 方程 组 的 计算 公式 .对 于 
可 微 函 数 f: R" 一 R” ,可 在 任意 一 点 x 处 进行 1 阶 泰勒 展开 的 近似 
f(x+i+s) 一 fx) T(x)s, 
其 中 ,Jj(x) 是 了 的 雅 可 比 和 矩阵 . 考察 x 二 x 的 情况 , 则 线性 方程 
f(x) J(x)s = 0, (C2. 23) 
近似 于 方程 f(x 十 s) 二 0, 由 方程 (2. 23) 的 解 可 得 到 原 方程 (2.21) 的 近似 解 
Vn = = 
这 个 过 程 重复 进行 ,得 到 牛顿 法 求解 非 线 性 方程 组 的 算法 . 


算法 2.6 解 非 线 性 方程 组 的 牛顿 法 . 
输入 : xo sn 维 多 元 函数 (x) ; 输出 : x. 
k :=0; 
While 不 满足 收敛 条 件 do 
解 线性 方程 组 Jr(xi)si 二 (xr), 求 SpS 
Xtl XE Se; 
k:=k 二 1; 
End 


XxX :一 区 
例 2.9( 牛 顿 法 解 非 线 性 方程 组 ): 用 牛顿 法 解 非 线性 方程 组 
2Z1 十 2zz 一 2 0 
7 一 医 十 4z? -小 [| 
【 解 】 方程 组 的 雅 可 比 和 矩阵 为 


1 = |, | 
7 | 8zzj” 
foo = |[,,| Rods | | 
we Lid we a jos 


1 3 
Ji(xo)so = |， | = | :|= CN 


得 so 二 [1,83,0.58]', 因 此 


| | fe) ro | J Cr) | 1 多 | 
X1 一 Xo 一 So 一 9 XxX1) 一 » Xx1) 一 和 
-7 1. 42 [4.72 ee 一 下 67 利多 


解 方程 组 万 Cx)si 王 Ca ) ,可 得 Si 一 [ 一 0.64,0.32]7 ,因此 


Wh | | fi i | J j=| 1 2 | 
lL td” 0 os) Me | dg: Se 
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继续 这 个 迭代 过 程 ,有 xs 二 [一 0.02,1.01]7 ,x 二 [一 0.00,1.00]' ,已 收敛 到 准确 解 x* = 
[OL 图 
与 单个 方程 的 情况 相 比 ,求解 非 线性 方程 组 的 牛顿 法 也 具有 类 似 的 一 些 优点 ,但 它 每 步 
迭代 都 需要 求解 线性 方程 组 , 当 ?” 较 大 时 计算 量 非 常 大 . 为 了 提高 计算 效率 和 保证 稳定 的 
收敛 ,可 以 将 拟 牛顿 法 .阻尼 牛顿 法 等 技术 推广 到 多 维 情况 ,这 里 不 再 详细 讨论 . 
另外 应 说 明 的 是 ,求解 单个 非 线 性 方程 的 方法 并 不 都 能 推广 到 非 线 性 方程 组 ,因此 牛顿 
法 以 及 它 的 改进 方法 成 为 了 求解 非 线 性 方程 组 的 主要 方法 . 


2.7.2 非 线性 方程 求 根 的 相关 软件 


求解 非 线 性 方程 f(x) 三 0 的 软件 一 般 需 要 使 用 者 提供 计算 函数 值 f(x) 的 程序 、 有 根 
区 间 的 端点 值 或 解 的 初始 值 ,以 及 迭代 过 程 停止 所 需 的 控制 辣 值 ,程序 执行 后 的 输出 数据 
除了 解 外 ,往往 还 包含 一 个 说 明 状 态 信 息 ( 成 功 、 警 告 或 错误 ) 的 标志 . 在 实际 问题 中 , 非 线 
性 方程 组 是 常常 遇 到 的 ,因此 很 多 软件 /程序 包 也 支持 对 非 线性 方程 组 的 求解 . 此 时 ,输入 
数据 还 要 包括 方程 组 中 方程 和 自 变 量 的 个 数 , 有 时 还 包括 计算 函数 雅 可 比 和 矩阵 的 程序 . 

表 2-3 列 出 了 求解 一 般 非 线 性 方程 (组 ) 的 程序 ,其 中 , 非 线性 方程 组 的 求解 程序 根据 是 
否 需要 用 户 提 供 雅 可 比 和 矩阵 计算 程序 分 为 两 类 . 这 些 程序 大 多 数 都 可 以 通过 互联 网 免费 获 
得 ,除了 在 第 1. 1 节 介 绍 过 的 ,其 他 可 在 Netlib 网 站 上 找到 . 

表 2-4 列 出 了 一 些 用 于 求解 实 系数 或 复 系数 多 项 式 所 有 零点 的 特殊 程序 . 

表 2-3 求解 非 线 性 方程 的 程序 


单 个 方程 方 程 组 
软件 /程序 包 
不 需要 导数 不 需要 雅 可 比 矩 阵 需要 雅 可 比 矩 阵 
FMM zeroin 
SE nb01/nb02 nsll 
MATLAB fzero fsolve 
MINPACK hybrdl hybrjl 
NAPACK root quasi 
NR zbrent broydn newt 
SLATEC fzero snsq/sos 
TOMS zerol (#631) brentm (#554) tensolve (#768) 


表 2-4 求解 多 项 式 所 有 零点 的 程序 


软件 /程序 包 
HSL pal7 


软件 /程序 包 
NUMERALGO 


复 系数 


polzerosCnal0) 


MATLAB roots roots SLATEC rpzero/rpqr79 cpzero/cpqr79 


NAPACK czero TOMS rpoly (#493) cpoly (#419) 


Zroots 


NR zrhqr 
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MATLAB 中 求解 一 般 非 线性 方程 和 方程 组 的 命令 是 fzero 和 fsolve, 它 们 的 输入 都 包 
括 待 求解 的 方程 以 及 初始 解 . 方程 的 信息 通过 函数 f(x) 表示 ,在 MATLAB 中 表示 函数 的 
方法 有 两 种 : m- 文 件 和 匿名 函数 @. 使 用 @ 可 方便 地 定义 较 简单 .具有 表达 式 的 函数 f(x)， 
具体 的 使 用 方法 请 参考 联机 帮助 文档 . 初始 解 可 以 是 一 个 有 根 区 间 , 也 可 以 是 单个 解 . 另 
外 ,通过 输入 选项 参数 还 可 以 控制 输出 的 结果 信息 ,了 解 迭代 过 程 中 每 步 的 方法 和 近似 解 . 
MATLAB 中 求解 多 项 式 方程 的 命令 是 roots, 它 的 输入 比较 简单 ,是 用 数组 表示 的 降 次 排 
列 的 多 项 式 系数 ,程序 的 输出 结果 就 是 多 项 式 方程 的 所 有 根 . 


评 述 


本 章 讨论 的 方法 ,除了 二 分 法 和 zeroin 算法 外 ,都 只 具有 局 部 收敛 性 . 还 有 一 些 具有 全 
局 收敛 保证 的 方法 ,比如 同 伦 算 法 或 连续 算法 , 它 将 问题 空间 参数 化 ,跟踪 从 平凡 的 易 求解 
问题 到 所 求 问题 的 解 曲 线 以 达到 所 需 的 解 . 这 些 方法 主要 用 于 求解 很 难得 到 初始 解 的 复杂 
非 线性 问题 . 感 兴趣 的 读者 可 参考 : 
。 W. Forster,“Homotopy methods,” in Handbooks of Global Optimization, pp. 
669-750 ,Boston: Kluwer,1995. 
。 E.L. Allgower, and K. Georg,” Continuous and path following,” Acta Numerica, 
Vol 2,pp. 1-64,1993. 
实现 这 些 方法 的 软件 包括 TOMS #555 (fixpt)、#617 (defne)、#777 (hompack). 男 
一 种 方法 是 “广义 二 分 法 ”, 它 基于 区 间 方 法 求解 非 线 性 方程 组 ,实现 的 程序 是 TOMS 的 
# 666(chabis) 和 并 681(intbis). 感 兴趣 的 读者 可 参考 : 
。 A. Neumaier,Interval Methods for Systems of Equations, New York: Cambridge 
University Press,1990. 
此 外 ,zeroin 算法 是 求 单个 方程 单 根 的 有 效 方法 ,但 对 于 求 重 根 的 情况 , 它 或 者 找 不 到 有 
根 区 间或 者 效率 很 低 . 对 于 求 重 根 的 问题 ,直接 使 用 牛顿 法 (或 制 线 法 、 抛 物 线 法 ) 只 能 取得 线 
性 收敛 速度 ,因此 需要 一 些 特殊 的 技术 . 例如 ,文献 L38] 介 绍 了 一 种 做 变换 的 方法 , 它 将 求 重 根 
的 问题 转化 为 求 男 一 个 方程 的 单 根 的 问题 ,然后 再 使 用 牛顿 法 求解 ,可 大 大 提高 收敛 速度 . 
对 于 非 线性 方程 组 求解 问题 ,为 了 避免 牛顿 法 中 的 求 导 计算 ,往往 采用 类 似 割 线 法 的 思 
想 进行 偏 导数 的 近似 计算 . 男 外 ,为 了 避免 每 个 迭代 步 都 求解 雅 可 比 和 矩阵 为 系数 的 线性 方 
程 组 ,只 对 近似 雅 可 比 矩 阵 的 分 解 进行 修改 . 这 类 方法 称 为 割 线 修正 法 ,其 应 用 很 广 . 最 简 
单 `\ 有 效 的 割 线 修正 法 之 一 是 Broyden 方法 . 对 它 的 详细 介绍 见 下 面 的 文献 : 
。 C. G. Broyden,A class of methods for solving nonlinear simultaneous equations, 
Mathematics of Computation, Vol 19, No. 92,pp. 577-593 ,1965. 
。 J]. E. Dennis,and J. J. More, Quasi-Newtion methods, motivation and theory， 
SIAM Review ,Vol 19,pp. 46-89 ,1977. 
非 线 性 方程 求 根 问题 与 最 优化 问题 ( 非 线 性 规划 问题 ) 在 很 多 方面 是 类 似 的 ,它们 的 解 
法 通常 都 采用 迭代 法 ,通过 一 系列 迭代 步 使 解 迅速 收银 到 问题 的 准确 解 . 因此 ,本章 讨论 的 
很 多 方法 ,例如 牛顿 法 、 制 线 法 等 都 被 用 于 求解 最 优化 问题 . 本 书 不 讨论 最 优化 问题 的 解 
法 , 感 兴趣 的 读者 可 参考 文献 L1] 以 及 其 他 专门 讨论 最 优化 方法 的 书籍 . 
改革 总 
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【本 章 知识 点 】 二 分 法 ;计算 二 分 法 的 迭代 次 数 ; 二 分 法 结果 准确 度 的 极限 情况 ;不 动 
点 迭代 法 ;不 动 点 迭代 法 全 局 收敛 的 充分 条 件 ; 局 部 收敛 ;局 部 收敛 的 充分 条 件 ; 收 伊 阶 的 确 
定 ; 牛 顿 法 :迭代 法 的 判 停 准则 ; 割 线 法 ;抛物 线 法 的 思想 ;阻尼 牛顿 法 的 思想 ;通用 求 根 算法 
zeroin 的 思想 ;利用 MATLAB 求 解 非 线性 方程 ; 非 线性 方程 组 的 雅 可 比 矩 阵 ; 解 非 线 性 方 
程 组 的 牛顿 法 . 


算法 背后 的 历史 : 牛顿 与 牛顿 法 


艾 萨 克 。 牛 顿 (Isaac Newton,1643 年 1 月 4 日 一 1727 年 3 月 20 日 ) 是 英国 伟大 的 数 
学 家 ,物理 学 家 、 天 文学 家 和 自然 哲学 家 ,其 研究 领域 包括 物理 学 、 数 学 、 天 文学 、 神 学、 自然 
哲学 和 炼金 术 . 牛顿 被 誉 为 人 类 历史 上 最 伟大 、 最 有 影响 力 的 科学 家 . 为 了 纪念 牛顿 在 经 
典 力学 方面 的 杰出 成 就 , “牛顿 ?后 来 成 为 衡量 力 的 大 小 的 物理 
单位 . 

牛顿 于 1643 年 ] 月 4 日 生 于 英格兰 林肯 郡 格 兰 瑟 姆 附近 的 沃 
尔 索 普 村 . 1661 年 入 英国 剑桥 大 学 圣 三 一 学 院 ,1665 年 获 文学 士 学 
位 . 随后 两 年 在 家 乡 躲 避 和 鼠疫 ,他 在 此 间 制 定 了 一 生 大 多 数 重 要 科 
学 创造 的 蓝图 . 1667 年 牛顿 回 剑桥 后 当选 为 剑桥 大 学 三 一 学 院 院 
委 , 次 年 获 硕士 学 位 . 1669 年 任 剑桥 大 学 卢 卡 斯 数学 教授 席位 直到 
1701 年 . 1696 年 任 皇家 造 币 厂 监督 ,并 移居 伦敦 1703 年 任 英国 皇家 
图 2-12 牛顿 学 会 会 长 . 1706 年 受 英国 女王 安妮 封 咽 . 在 晚年 ,牛顿 潜心 于 自然 
哲学 与 神学 . 1727 年 3 月 20 日 ,牛顿 在 伦敦 病逝 ,享年 84 岁 . 

牛顿 的 主要 贡献 : 

。 二 项 式 定 理 ; 

。 创建 微 积分 ; 

。 方程 论 与 变 分 法 ; 

。 牛顿 运动 定律 ; 

。 牛顿 法 ; 

。 光学 上 的 贡献 ; 

。 构筑 力学 大 厦 。 

关于 牛顿 法 

早 在 1665 年 牛顿 就 使 用 了 与 割 线 法 等 价 的 方法 ,1669 年 他 提出 了 与 现在 的 牛顿 法 类 似 
的 方法 ,但 其 中 并 没有 使 用 导数 ,而 是 基于 二 项 式 展开 , 并 且 针 对 的 是 多 项 式 方程 1690 年 , 拉 
弗 森 (Raphson) 对 牛顿 法 作 了 简化 和 改进 ,因此 该 方法 也 常 被 称 为 牛顿 - 拉 弗 森 方 法 .在 牛 
顿 法 中 使 用 导数 是 由 辛普森 (Simpson) 于 1740 年 提出 的 ,他 还 将 这 种 方法 从 单个 方程 问题 
推广 到 非 线性 方程 组 问题 ,这 就 是 我 们 现在 使 用 的 牛顿 法 . 后 来 , 拉 格 朗 日 和 傅 里 叶 等 人 简 
化 了 牛顿 法 的 表达 式 , 也 进行 了 一 些 推 广 , 但 将 辛普森 的 贡献 遗忘 挤 了 ,只 留 下 了 与 该 方法 
有 关 的 牛顿 和 拉 弗 森 的 名 字 . 事实 上 ,辛普森 在 牛顿 法 中 的 贡献 可 能 要 比 他 在 数值 积分 方 
法 辛普森 法 ( 见 本 书 第 7 章 ) 中 的 贡献 还 要 大 . 


"Nf 
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牛顿 名 言 

。 如 果 说 我 比 别人 看 得 更 远 些 , 那 是 因为 我 站 在 巨人 肩 上 的 缘故 . 

。 无 知识 的 热心 ,犹如 在 黑暗 中 远征 . 

。 我 的 成 就 ,当归 功 于 精微 的 思索 . 

你 若 想 获得 知识 ,你 该 下 苦 功 ;你 若 想 获得 食物 ,你 该 下 苦 功 ;你 若 想得到 快乐 ,你 也 
该 下 苦 功 , 因 为 辛苦 是 获得 一 切 的 定律 . 

聪明 人 之 所 以 不 会 成 功 , 是 由 于 他 们 缺乏 坚韧 的 毅力 . 

胜利 者 往往 是 从 坚持 最 后 五 分 钟 的 时 间 中 得 来 成 功 . 

我 不 知道 世人 怎样 看 我 ,但 我 自己 以 为 我 不 过 像 一 个 在 海边 玩 要 的 孩子 ,不 时 为 发 
现 比 寻 常 更 为 美丽 的 贝克 而 沾沾自喜 . 


练 习 题 


1. 为 求 方 程 妇 一 x 一 1==0 在 zo 二 1.5 附近 的 一 个 根 , 设 将 方程 改写 成 下 列 等 价 形式 ， 
并 建立 相应 的 迭代 公式 . 

(1) z= 二 1 十 1/x? ,和 迭代 公式 x441 二 1 十 1/z?. 

(2) z= 二 1/ (zx 一 1), 壕 代 公 式 zi41 = 二 1/ Vx 一 1. 

(3) 二 1 十 x? ,办 代 公式 ziy1 = YI 十 

试 分 析 每 个 迭代 公式 的 全 局 收敛 性 , 即 是 否 存 在 某 个 定义 域 的 区 间 其 全 局 收敛 ,该 定义 
区 间 是 什么 ? 选取 一 个 公式 求 出 具有 4 位 有 效 数 字 的 近似 根 . 

2. 给 定 函 数 f(x) , 设 对 一 切 x, 了 (zx) 存在 且 0 二 m 过 f(x) 过 M, 证 明 对 于 范围 0 过 4 一 


总 内 的 任意 定数 ), 迁 代 过 程 w+ 一 必 一 7Czi) 均 收 全 于 f(x) 二 0 的 根 x”. 


3. 研究 求 Va 的 牛顿 迭代 公式 
Xi 一 (x + 二) J > 


证 明 对 一 切 & 王 1,2,…, 必 三 Va 且 序列 zi ,x;,… 是 递减 的 . 
4. 应 用 牛顿 法 于 方程 x 一 a 二 0, 导 出 求 立 方 根 YVa 的 迭代 公式 ,并 讨论 其 局 部 收敛 性 . 
5. 证 明和 迭代 公 于 


Ze(ze 十 3a) 
Xn 二 一 oo 


3zxi 十 a 
是 计算 Va 的 3 阶 方法 . 假定 初 值 ze 充分 靠近 根 x* , 求 
limWa — za)/ Wa— za)’. 
6. 证 明 公 式 (2. 11). 
7. 车 函数 f(x) 满足 2 阶 导数 连续 ,证 明 牛 顿 法 在 局 部 收敛 范围 内 的 误差 满足 


of ys 
en = 38708 (5) 0 
IL* 
8. 证 明定 理 2. 4 的 结论 : | 一 zx | 过 了 六 | 一 | 
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9. 用 下 列 方法 求 f(x) 二 x 一 3z+ 一 1=0 在 zo 二 2 附近 的 根 . 根 的 准确 值 x* = 
1. 879 385 24… ,要 求 计算 结果 有 4 位 准确 的 有 效 数字 . 

(1) 用 牛顿 法 . 

(2) 用 制 线 法 , 取 zo 一 2,z 一 1.9. 

10. 分 别 用 二 分 法 和 牛顿 法 求 zx 一 tanz=0 的 最 小 正 根 , 要 求 计 算 结 果 有 4 位 准确 的 有 
效 数字 . 


上 机 题 


1. 对 于 方程 
f(x)=zx—3r+2=0 
可 以 有 以 下 多 种 不 动 点 迭代 方式 : 
pi 
wet = NO 
PCT) 二 ， 
2 
(1) 对 于 根 x 二 2, 通 过 分 析 |g1(2)|,(i 二 1,2,3,4) 来 分 析 各 个 算法 的 收敛 特性 . 
(2) 用 程序 验证 分 析 的 结果 . 
2. 编程 实现 阻尼 牛顿 法 . 要 求 : 设 定 阻尼 因子 的 初始 值 %。 及 解 的 误差 闽 值 e; @ 阻 
尼 因 子 * 用 逐次 折 半 法 更 新 ; @ 打 印 每 个 迭代 步 的 最 终 4 值 及 近似 解 ; @ 请 用 其 他 方法 ( 例 
如 fzero 函数 ) 验 证 结果 ,并 考虑 采用 阻尼 与 不 采用 阻尼 算法 的 效果 差别 . 用 所 编程 序 求解 : 
(1) x 一 x 一 1==0, 取 zo 王 0. 6. 
(2) 一 2 十 5z 一 0, 取 zo 王 1. 35. 
3. 利用 2.6.3 节 给 出 的 fzerotx 程序 ,在 MATLAB 中 编程 求 第 一 类 的 零 阶 贝 塞 尔 函 
数 Jo(z) 的 零点 . Ju (Cz) 在 MATLAB 中 通过 命令 besseljj (0,z) 得 到 试 求 J。(x) 的 前 
10 个 正 的 零点 ,并 绘 出 函数 曲线 和 零点 的 位 置 . 
4. 编程 求解 非 线性 方程 组 
| 十 3) (zx 一 7) 十 18 二 0 


sin(xze1 —1)=0 


q(x) = 


9 


起 始 解 mm 一 [ 一 0.5,1.4]7. 


让 曲靖 
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线性 方程 组 (linear equation system) 可 写成 如 下 形式 : 


| rr 
dunT TT 4d12T2 


az = Ob 


dznTn 一 bs 


ani Ti anizs tt" Ganz = bs 
其 中 包含 了 x 个 方程 .n 个 未 知 量 (zi ,xs，… ,x,). 若 mn, 这 种 线性 方程 组 称 为 超 定 
方程 组 ,一 般 没 有 解 ,但 可 求 出 最 小 二 乘 解 , 详 见 第 6 章 有 关 线 性 最 小 二 乘 的 内 容 . 若 
7m<< ,线性 方程 组 一 般 有 无 穷 多 个 解 ,在 实际 应 用 中 和 常 将 它 与 其 他 约束 条 件 一 起 考虑 ， 
构成 一 个 约束 优化 问题 , 它 超出 了 本 书 的 讨论 范围 . 当 mm 二 nn 时 ,这 是 常见 的 线性 方程 
组 求解 问题 , 记 为 
Ax = b, C3 1 

其 中 ,4 是 一 个 宛 久 7 维 矩 阵 , 称 为 系数 矩阵 (coefficient matrix);x 为 n 维 向 量 , 称 为 解 向 
量 ;b 为 n 维 向 量 , 称 为 右 端 向 量 或 右 端 项 (right-hand side). 在 后 续 讨 论 中 ,我 们 仅 考虑 
7 一 7 的 情况 ,并且 假 设 矩阵 4 为 实数 矩阵 .为 实数 向 量 , 因 此 , 待 求 的 x 也 是 实 向 量 . 

除了 很 多 应 用 问题 可 直接 转化 为 线性 方程 组 求解 问题 外 ,本 书 其 他 章节 的 数值 计算 问 
题 也 常 归 结 为 线性 方程 组 的 求解 . 例如 ,第 2 章 讨论 非 线 性 方程 组 求解 时 ,算法 2.6 就 包含 
了 对 线性 方程 组 求解 的 步 又 . 本 章 介绍 线性 方程 组 的 直接 解法 以 及 有 关 的 几 种 矩阵 分 解 方 
法 . 所 谓 直 接 解 法 ,就 是 理论 上 经 过 有 限 步 计算 能 得 到 准确 解 的 方法 . 第 4 章 介绍 线性 方程 
组 的 迭代 解法 . 


3.1 基本 概念 与 问题 的 敏感 性 


线性 方程 组 的 求解 问题 与 矩阵 的 关系 密切 ,无 论 是 理论 分 析 , 还 是 实际 的 算法 设计 ,都 
需要 使 用 矩阵 这 一 工具 . 本 节 先 对 线性 代数 中 的 一 些 基 本 概念 和 结果 进行 复习 ,然后 介绍 
向 量 与 矩阵 的 范 数 ,最 后 讨论 线性 方程 组 求解 问题 的 敏感 性 . 


3.1.1 线性 代数 中 的 有 关 概 念 


1. 解 的 存在 性 与 唯一 性 

下 面 先 给 出 最 基本 的 单位 阵 和 零 向 量 的 定义 ,然后 给 出 线性 无 关 和 线性 相关 的 定义 . 

定义 3.1: (1) 分 量 都 为 0 的 向 量 称 为 零 向 量 , 记 为 0, 分 量 都 为 0 的 矩阵 称 为 零 矩 阵 ， 
记 为 0. 

(2) 仅 主 对 角 线 上 元 素 均 为 1, 其 他 元 素 均 为 0 的 矩阵 称 为 单位 阵 (identity matrix), 通 
常 记 为 工 

定义 3.2: 设 向 量 mm ,xo，… ,x € R" ,如 果 存 在 不 全 为 零 的 数 m ,az ,…，,anER ,使 得 
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axl 十 azxz 十 … 十 anxn 一 0， 《3 2 

则 称 向 量 xi ,xs ,zw 线性 相关 ,否则 , 若 公 式 (3.2) 只 有 当 wo 一 必 三 … 一 wm 三 0 时 成 立 , 则 
称 xi ,xs ，……,xw 线性 无 关 . 

线性 方程 组 Ax==b 的 解 的 个 数 与 系数 矩阵 A 是 否 为 奇异 矩阵 有 关 , 下 面 的 定理 给 出 了 
判断 矩阵 奇异 性 的 依据 . 

定理 3.1: 设 敌阵 4ER”", 若 它 满足 下 列 等 价 条 件 之 一 : 

(1) 存在 逆 短 阵 4 , 即 存在 一 个 矩阵 , 记 为 4 ,满足 44 一 4 4 一 工 

(2) det(A4) 关 0, 其 中 ,det(4) 表 示 A 的 行列 式 (determinant). 

(3) 4 的 秩 rank(4) 二 n (和 矩阵 的 秩 为 其 包含 的 线性 无 关 的 行 或 列 的 最 多 个 数 )， 

(4) 对 任意 向 量 z< 取 0, 有 4z 天 0. 

则 矩阵 A 为 非 奇 异 矩 阵 (nonsingular matrix) ,否则 为 奇异 答 阵 (singular matrix). 

定理 3. 2 说 明了 线性 方程 组 解 的 存在 性 与 唯一 性 . 

定理 3.2: 设 和 矩阵 4ER， 

(1) 车 4 为 韭 奇异 矩阵 , 则 方程 组 Ax 二 b 有 了 唯一 的 解 x 二 A 70. 

(2) 若 A 为 奇异 矩阵, 且 bE span(A) ,集合 span(A) 表 示 A 的 各 个 列 向 量 张 成 的 线性 
空间 , 则 方程 组 Ax 二 b 有 无 穷 多 个 解 . 

(3) 若 4A 为 奇异 矩阵, 且 bF span(A), 则 方程 组 Ax 二 b 没有 解 . 

2. 有 关 和 矩阵 的 基本 知识 

下 面 先 给 出 几 种 特殊 类 型 矩阵 的 定义 ,然后 给 出 顺序 主子 式 的 定义 ,并 讨论 对 称 正 定 给 
阵 的 性 质 . 

定义 3.3: 设 矩 阵 人 4 一 (wy )ERrx", 则 矩阵 4 为 

(1) 对 角 短 阵 (diagonal matrix) ,如 果 当 i 了 7 时 ,一 0. 

(2) 三 对 角 矩 阵 (tridiagonal matrix) ,如 果 当 |; 一 川 二 1 时 ,一 0. 

(3) 上 三 角 纸 阵 (upper triangle matrix) ,如 果 当 i>j 时 ,oh 一 0. 

(4) 下 三 角 抵 阵 (lower triangle matrix) ,如 果 当 i<j 时 ,a; 三 0. 

(5) 对 称 矩 阵 (symmetric matrix) ,如 果 4I 王 4,47 为 矩阵 4 的 转 置 (transpose). 

(6) 对 称 正 定 和 矩阵 (Symmetric positive definite matrix) ,如 果 4 一 4, 且 对 任意 非 零 向 
量 xER"， 二 次 型 xT4Ax>0. 

(7) 对 称 半 正 定 矩 阵 (sSymmetric positive semidefinite matrix) ,如 果 A = 二 A, 且 对 任意 
非 零 向 量 xE R", 二 次 型 x?Ax 宇 0. 

(8) 正 交 矩阵 (orthogonal matrix) ,如 果 A !=A™. 

定义 3.3 中 ,前 4 种 和 矩阵 中 包含 较 多 的 零 元 素 , 属 于 稀 跌 和 矩阵 (sparse matrix) ,它们 的 
非 零 元 素 分 布 情况 如 图 3-1 所 示 ( 假 设 *“ 王 4). 在 图 3-1 中 ,用 “X” 标 记 非 零 和 矩阵 元 素 的 位 
置 , 按 此 方式 得 到 的 矩阵 图 示 也 称 为 矩阵 的 感 尔 金森 图 (Wilkinson graph). 容易 看 出 ,对 角 
抢 阵 的 逆 抢 阵 Cinverse matrix) 若干 对 角 和 抢 阵 的 乘积 仍 为 对 角 抢 阵 , 上 (下 ) 三 角 抢 阵 的 逆 
矩阵 .若干 上 (下 ) 三 角 抑 阵 的 乘积 仍 为 上 (下 ) 三 角 和 矩阵 . 另外 , 常 称 对 角 线 元 素 均 为 1 的 上 
(下 ) 三 角 矩 阵 为 单位 FFC 下) 三角 和 矩阵 . 


。 60 。 
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XxX x Xx x x x x x 
x 汪 关 关注 x Xx 
必 人 半 尖 xX Xx 江 识 训 
流 闪光 湾 又 又 XX % 
(a) 对 角 和 矩阵 (b) 三 对 角 和 矩阵 (c) 上 三 角 和 矩阵 (d) 下 三 角 矩 阵 


图 3-1 和 矩阵 的 威 尔 金 森 图 


定义 3.3 中 的 其 余 4 种 矩阵 可 能 是 稀 玻 矩阵 ,也 可 能 是 稠密 答 阵 . 对 于 正 交 和 矩 阵 A, 它 
的 转 置 A 也 是 正 交 和 矩 阵 , 并 且 它 的 行 向 量 、 列 向 量 各 自 构成 维 向 量 空间 的 一 组 单位 正 交 
基 向 量 . 

定义 3.4: 设 矩 阵 A 二 (aj) ER*", 则 和 矩阵 A 的 阶 顺序 主子 阵 为 


QI11 "alk 
4 一 | 2 |, (k=1,2,.,n). 
CI ”dam 


并 且 顺 序 主子 阵 的 行列 式 det(Ai),(k 二 1,2,…,n) 称 为 顺序 主子 式 . 
从 定义 3.4 看 出 ,n 阶 顺序 主子 阵 4,= 王 4, 而 1 阶 顺序 主子 阵 就 是 一 个 数 一 一 an. 
定义 3.5: 设 和 矩阵 4=(w)ER”, 若 存在 数 (实数 或 复数 ) 和 非 零 向 量 x 二 [xi， 
Xs， ,Xn ( 实 向 量 或 复 向 量 ) ,使 
Ax = Ax， 
则 称 A 为 4 的 特征 值 (eigenvalue) ,x 为 * 对 应 的 A 的 特征 向 量 (eigenvector). 
由 定义 3.5 知 ,矩阵 4 的 特征 值 为 特征 方程 
det(MT 一 4) 一 0 C3 
的 解 . 由 于 方程 (3.3) 为 n 次 代数 多 项 式 方程 ,和 矩阵 A 一 定 有 7 个 特征 值 (m 重 特征 值 计 为 
m 个 ), 并 且 特 征 值 可 能 是 复数 . 
定理 3.3: 设 AE R"”" 为 对 称 和 矩阵 , 则 
(1) 4 的 特征 值 4;(i 二 1,2,…,n) 均 为 实数 . 
(2) 对 于 A, 存在 实 特征 向 量 g ,q;,…,g, 为 R" 空 间 的 一 组 单位 正 交 基 , 即 
全 0，i 闫 j 
qiq; 一 


(3) 可 将 矩阵 4 做 特征 值 分 解 : 


,i= 


A=0Q 07， 
其 中 ， 为 对 角 阵 ,对 角 线 元 素 为 4 的 nn 个 特征 值 ,Q 为 正 交 阵 , 且 它 的 列 向 量 qi ,gs ，…,g， 
为 4 的 nn 个 特征 向 量 ( 排 列 顺序 与 ”中 特征 值 的 顺序 相对 应 ). 
定理 3.4: 设 AER”" 为 对 称 半 正定 矩阵 , 则 除了 满足 定理 3. 3 的 结论 外 ,有 特征 值 
N00(t=1,2,% nn). 
定理 3.5: 设 AER”" 为 对 称 正定 矩阵 , 则 除了 满足 定理 3. 3 的 结论 外 ,还 满足 
(1) 4 为 非 奇异 矩阵 , 且 4 也 是 对 称 正定 矩阵 . 
(2) 4 的 特征 值 M; 盖 0(G 一 1,2，…,7). 
(3) 记 Ai (CR 一 1,2,…,7) 为 4 的 顺序 主子 阵 , 则 A 也 是 对 称 正 定 矩 阵 , 且 det(4A, ) 之 0. 
。6] 。 
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3.1.2 向 量 范 数 与 矩阵 范 数 


三 维 空间 中 向 量 的 长 度 也 称 为 向 量 的 模 或 范 数 , 将 其 进行 推广 ,我 们 对 一 般 的 维 向 量 
可 以 定义 范 数 的 概念 ,本 节 介 绍 的 向 量 和 和 矩 阵 范 数 的 概念 ,对 于 分 析 线 性 方程 组 求解 问题 
的 误差 是 非常 重要 的 . 

定义 3.6: 记 上 |x| 为 向 量 x€E R" 的 某 个 实 值 函 数 , 若 它 满足 条 件 : 

(1) 对 WER' ,x|| 宇 0, 当 且 仅 当 x=0 时 ,上 x= 二 0; (正定 条 件 ) 

(2) 对 WER, axrl|=|lal lxl; 

(3) 对 w,yER" ,| x+y| 委 1zl 十 | yl ， (三 角 不 等 式 ) 

则 上 xl 是 R*" 上 的 向 量 范 数 (vector norm). 

定义 3.6 中 的 三 个 条 件 实际 上 也 是 一 般 线 性 空间 中 范 数 定义 的 要 求 . 对 于 某 个 数 域 
及 上 的 线性 空间 $ ,将 条 件 中 的 及 替换 为 K ,R" 替 换 为 S, 条 件 (1) 一 (3) 即 定义 了 线性 空间 
S 上 的 范 数 . 定义 了 范 数 的 线性 空间 被 称 为 赋 范 线性 空间 . 

对 于 实 向 量 x 一 [zi,z，…z ,下 面 给 出 常用 的 几 种 范 数 ,它们 都 满足 定义 3.6 的 
条 件 . 


(1) 1- 范 数 : | xl = 2》) | zi|. 
i=1 


(2) 2- 范 数 ; 上 xs = (了) | zx |)? = Gert. 
(3) co- 范 数 : | xl = max | zi |. 
1- 范 数 也 称 为 曼哈顿 范 数 ;2- 范 数 也 称 为 欧 氏 范 数 ,是 欧 几 里 得 几何 空间 中 向 量 长 度 
的 直接 推广 .应当 指出 ,对 某 个 数 域 上 的 线性 空间 还 可 以 定义 内 积 (inner product) 的 概念 ， 
xX 和 y 的 内 积 记 为 (x,y);， 内 积 为 零 , 则 说 两 个 向 量 正 交 . 在 实 向 量 空间 中 ,内 积 的 计算 公 
式 为 
(x,y) = Dy = 


而 在 更 一 般 的 复 向 量 空间 中 ,内 积 的 计算 公式 为 
(x,y) = 3 y= x y. 


根据 内 积 可 以 定义 一 种 范 数 , x 三 VCx,x), 称 为 内 积 范 数 ?. 无 论 上 述 哪 种 情况 ， 
内 积 范 数 都 与 2- 范 数 相同 . 

上 面 给 出 的 三 种 向 量 范 数 都 属于 一 大 类 范 数 , 称 为 p- 范 数 . 

定义 3.7; 对 于 实 向 量 x=[xi ,xz,…,X,j]' ER”, 它 的 p- 范 数 为 


lxl;= (2 1z1*)*, p>1. 
i=1 


可 以 证 明 pp- 范 数 符合 范 数 的 定义 3.6, 并 且 1- 范 数 、2- 范 数 和 oo- 范 数 是 p- 范 数 的 三 种 
特殊 情况 (分 别 对 应 于 p=1, p==2, p00). 


@ 关于 内 积 的 一 般 定 义 , 请 参考 线性 代数 有 关 的 书籍 ,在 本 书 的 第 6 章 也 会 涉及 . 
汉人 
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例 3.1( 三 种 向 量 范 数 ) : 分 别针 对 二 维 向量 的 1- 范 数 、2- 范 数 和 oo- 范 数 度量 ,在 二 维 
坐标 系 中 绘 出 单位 长 度 向 量 的 端点 集合 ( 即 * 单 位 圆 ”). 并 计算 向 量 x 二 [一 1.6,1.2] 的 这 
三 种 范 数 . 


ENG 1.5 ] 【 解 】 不 同 范 数 定义 下 二 维 空间 单位 * 圆 ”的 图 形 如 
图 3-2 所 示 . x 的 三 种 范 数 为 | xlla=2.8, | xll: 王 2， 
| x 1 ,=1.6. 国 


感 兴趣 的 读者 可 以 思考 ,按照 这 三 种 范 数 ,三 维 坐标 
系 中 的 “单位 球 ” 分 别 是 什么 图 形 ? 
下 面 给 出 与 向 量 范 数 有 关 的 几 个 定义 和 定理 . 


-1.5] 定义 3.8: 设 {x) 为 R" 中 一 向 量 序列 ,x* € R"”, 设 
图 3-2 依据 三 种 范 数 ,得 到 的 二 维 x® 一 = [zx .区 (有 ]T，,x es = [zr i 下 : 如 果 
空间 “单位 圆 * 的 图 形 limz 多 一 2，G 一 1,2,… ,区 , 则 称 序列 (x) 收敛 于 向 量 


<，, 记 为 limx =x* 

定理 3.6: R* 上 的 任 一 种 向 量 范 数 | x | 都 是 关于 x 分量 ,zs，… ,x 的 连续 函数 . 

定理 3.7: 设 |x|, 和 xl, 为 R* 上 的 任意 两 种 向 量 范 数 , 则 存在 常数 cl ,cs 过 0, 使 得 
对 一 切 xER" 有 

ete la xlese ls: 

定理 3.8: limx® 一 六 的 充分 必要 条 件 是 lim x” 一 x” ==0, 其 中 , 算 符 e， 表示 
任 一 种 向 量 范 数 . 

定义 3.8 给 出 了 向 量 序列 收敛 的 定义 , 即 一 个 向 量 序列 收敛 等 价 于 它 的 各 分 量 形成 的 
序列 都 收 僵 定理 3.6 指出 任意 向 量 范 数 是 关于 向 量 分 量 的 连续 函数 . 定理 3.7 指出 有 限 
维 向 量 空间 中 不 同 范 数 的 等 价 性 ,根据 它 可 得 到 一 个 推论 : 车 在 某 种 范 数 意义 下 向 量 序列 
的 范 数 收敛 到 0, 则 该 向 量 序列 的 任 一 种 范 数 都 收敛 到 0. 定理 3. 8 指出 向 量 序列 的 收敛 等 
价 于 向 量 与 极限 向 量 之 差 的 范 数 收敛 到 0. 关于 这 三 个 定理 的 证 明 , 感 兴趣 的 读者 可 参考 文 
献 [8]. 

关于 向 量 范 数 ,再 补充 说 明 两 点 . 

(1) 在 作 一 些 理论 分 析 时 ,可 利用 不 同 范 数 的 等 价 性 ,将 按 某 一 种 范 数 得 出 的 结论 推广 
到 所 有 范 数 情况 下 都 成 立 . 

(2) 除了 常用 的 p- 范 数 , 还 可 以 定义 其 他 形式 的 向 量 范 数 , 例 如 x14 二 Vx Ax, 其 
中 ,A 为 对 称 正定 矩阵 ,也 是 一 种 向 量 范 数 . 

所 有 的 矩阵 4E 民 ” ,对 于 和 抢 阵 加 法 .矩阵 与 实数 乘法 运算 ,也 构成 一 个 线性 空间 ,因此 
也 可 以 在 此 空间 中 定义 矩阵 范 数 . 与 一 般 的 线性 空间 不 同 ,R”*" 空 间 还 包括 一 个 自我 封闭 
的 “矩阵 乘 ” 运 算 , 因 此 有 关 的 范 数 定义 中 一 般 也 增加 对 矩阵 乘 运算 的 要 求 . 

定义 3.9: 记 | 4 | 为 矩阵 AER™" 的 某 个 实 值 函 数 , 若 它 满足 条 件 

(1) 对 WER”", A 有 宇 0, 当 且 仅 当 4==O 时 ,| 4 二 0; (正定 条 件 ) 

(2) 对 YER,|oh|=lal Al; 

(3) 对 内 ,BER”" ,|‖ 4+B1 委 41 十 31; (三 角 不 等 式 ) 

(4) 14B81 往 141 BI, 
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则 A 中 是 R™** 上 的 和 矩阵 范 数 (matrix norm). 

在 定义 3.9 中 ,条 件 (4) 是 对 矩阵 乘 运算 的 要 求 . 

与 向 量 范 数 一 样 ,满足 定义 3. 9 的 抢 阵 范 数 并 不 是 唯一 的 . 由 于 常常 需要 进行 矩阵 与 
向 量 相 乘 的 运算 ,还 应 将 矩阵 范 数 与 向 量 范 数 联系 起 来 . 在 定义 3.9 的 基础 上 ,实际 使 用 的 
矩阵 范 数 往往 还 满足 如 下 相 容 性 条 件 : 

对 VAER“”",xER 了 都 有 


TAxl lAIlxl. (3. 4) 
下 面 定 义 的 矩阵 算 子 范 数 也 称 为 向 量 范 数 诱导 出 的 矩阵 范 数 ,就 是 满足 相 容 性 条 件 的 
和 矩阵 范 数 . 
定义 3.10: 设 xER',4ER ,对 某 种 给 定 的 向 量 范 数 | x1,, 短 阵 的 算 子 范 数 为 


141。= max del:. 
Wr Tx], 


矩阵 4 代表 了 线性 空间 R" 中 一 种 线性 变换 ,将 它 作用 于 
向 量 x 的 结果 是 矩阵 与 向 量 的 乘积 4xr. 因此 ,从 定义 3. 10 看 
出 ,矩阵 的 算 子 范 数 就 是 这 个 线性 变换 对 向 量 x 的 最 大 * 拉 
长 "倍数 (可 能 小 于 1)， 在 图 3-3 中 , 绘 出 了 二 维 向 量 空间 中 
所 有 长 度 为 1 的 向 量 的 端点 轨迹 (采用 2- 范 数 ) , 即 单位 加 , 则 
经 过 某 个 矩阵 4 的 作用 ,变换 后 向 量 端点 的 轨迹 为 椭圆 ,其 长 
铀 的 一 半 长 度 就 是 算 阵 4 的 算 子 范 数 ， 下 面 通过 一 个 定理 严 “站 帮 和 an 
格 地 说 明和 矩阵 的 算 子 范 数 是 满足 相 容 性 条 件 的 矩阵 范 数 ， re 

定理 3.9: 定义 3. 10 的 算 子 范 数 是 满足 定义 3. 9 以 及 相 
容 性 条 件 (3. 4) 的 矩阵 范 数 . 

【证 明 】 此 定理 的 条 件 是 算 子 范 数 | A | 一 max 

(1) 是 矩阵 范 数 , 即 满足 

(a) 1 41 >0, 当 且 仅 当 4=O 时 ,141 =0; 

(b) llaA =|lal Al ,aER; 

Co ATBI SIAN+IBI; 

Cd) 14B1<14I 1B1 

(2) 与 向 量 范 数 有 相 容 性 , 即 

(© Axl<IAN xl 

命题 (a)、(b)、(c) 的 证 明 很 简单 ,这 里 略 去 ,下面 证 明 (d) 和 (e). 先 证 明 命 题 (e): 
Ax 
141 = max de 


再 利用 (e) 的 结论 证 明 (d): 
| ABx | 


对 Wrz0, | ABx| =1ABONSEIAN lBxl<lAl lBl lxl > mx | 


| 4x | 
| xl 


,要 证 明 


A 
> = al < lAllxl. 


ss 


A B 
sleet ial 1 51 ,mlABI<IANIBI. 国 


max | 


xA0 
针对 三 种 常用 的 向 量 范 数 ,可 以 给 出 对 应 的 矩阵 算 子 范 数 . 
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定理 3.10: 对 应 于 向 量 的 1- 范 数 .2- 范 数 和 cc- 范 数 , 抢 阵 4=(az)ER” "的 算 子 范 数 
分 别 为 


(1) 1- 范 数 : 1 41， 一 max 2 | ap |. 
(2) 2- 范 数 : 141， = Vw ATA)， 其 中 Xi.(*) 表示 取 和 矩阵 最 大 特征 值 的 函数 . 
(3) co- 范 数 : 141。 = we | as |. 


【证 明 】 和 矩阵 的 1- 范 数 和 oo- 范 数 的 公式 很 容易 通过 定义 3. 10 进行 推导 ,相关 的 证 明 
留 给 读者 去 思考 . 下 面 对 2- 范 数 的 公式 进行 证 明 . 
对 于 任意 xER",x'ATAx 二 (Ax)'Ax 二 上 Ax i 宇 0, 又 (ATA)' 二 ATA, 所 以 矩阵 4I4 
为 对 称 半 正 定 和 矩阵 . 根据 定理 3. 3 和 定理 3.4,47I4 的 特征 值 为 非 负 实数 , 设 它们 为 
p> > 
与 之 对 应 的 特征 向 量 gj ,gs ,…',q, 构成 一 组 单位 正 交 基 , 任 一 非 零 向 量 x 可 表示 为 这 组 基 
的 线性 组 合 : 


其 中 ,ci ER 为 组 合 系数 , 则 


( cg) ATA cg， (Dagq:) caig 
i i=1 _ i=l 


i=l 


(Dog) Den (Doar)" De 


i=1 


i=1 


并 且 , 当 x 二 qi 时 ,1 Ax 2/ x 二. 因此 ,根据 定义 3.10, 有 


有 a 2 
一 | | A | ;= max 由 Ax | 2 max | Ax 上 
全 TV 


= = NAA, 加 
应 当 说 明 的 是 ,和 矩阵 2- 范 数 的 计算 涉及 特征 值 , 比 其 他 两 种 
范 数 要 复杂 得 多 . 矩阵 的 1- 范 数 和 oo- 范 数 计算 比较 简便 ,应 熟 
图 3-4 算 阵 的 二 范 数 和 ， 练 掌握 . 图 3-4 是 一 个 矩阵 的 示意 图 ,可 帮助 记忆 1- 范 数 和 oo- 
oo- 范 数 计算 公 ” 范 数 的 公式 , 据 此 也 称 1- 范 数 为 列 范 数 .=c- 范 数 为 行 范 数 . 在 不 

式 中 涉及 的 元 素 ” 加 特殊 说 明 的 情况 下 ,后 面 讨论 的 矩阵 范 数 均 为 算 子 范 数 . 


3.1.3 问题 的 敏感 性 与 矩阵 条 件数 


有 了 向 量 范 数 、 矩 阵 范 数 的 概念 ,下 面 分 析 线 性 方程 组 求解 问题 的 敏感 性 和 条 件数 , 研 
究 初始 数据 误差 对 解 的 影响 先 考虑 方程 (3.1) 的 右 端 项 发 生 扰 动 Ab 的 情况 ,相应 的 解 变 
为 x 十 Ax, 则 
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A(x 十 Ax) 二 b 十 Ab， 
可 推导 出 如 下 两 个 不 等 式 : 
AAx=Ab => Ax=A'Ab > lAx| |AllIAb, 
Ax=b Ss lbl|<IlAllxl. 
根据 问题 的 条 件数 的 定义 1.9, 得 


HAaxl /xl _ Haxl lol HATH aol AN lxl 
ond 一 = 过 
Age Naol xl ~ Tab Txl 
= |All|AT. (3.5) 


条 件数 cond 反映 了 问题 对 数据 相对 误差 的 放大 倍数 , 它 随 具体 问题 和 数据 而 变 , 但 公 
式 (3.5) 说 明了 条 件数 的 一 个 上 限 ,而 且 这 个 上 限 中 41 114- 1 仅 依 赖 于 方程 的 系数 矩阵 ， 
下 面 把 它 定义 为 矩阵 的 条 件数 . 

定义 3.11; 设 4 为 非 奇异 矩阵 , 称 cond(4)。.= 1 41。|4-: |。 为 矩阵 的 条 件数 ,其 
中 ,下 标 v 用 于 标识 某 种 和 矩阵 的 算 子 范 数 . 

除了 方程 (3. 1) 的 右 端 项 发 生 扰动 的 情况 ,下 面 再 考虑 系数 矩阵 发 生 扰动 的 情况 , 设 扰 
动量 为 A4, 它 使 解 由 x 变 为 = 二 x 十 Ax, 即 

(4 十 A4) 这 一 0， 

忽略 一 些 推导 ,我 们 直接 给 出 如 下 不 等 式 : 


‖ Ax 1 LAa | 
Iz < | Ta (3.6) 
公式 (3. 9) 不 等 号 左边 的 -人 | 是 解 的 相对 误差 的 近似 值 , 因 此 有 如 下 的 近似 关系， 
axl71al , 
condae EATANAT < el | wal C3..7) 
公式 (3.7) 表 明 , 在 系数 矩阵 发 生 扰动 的 情况 下 ,线性 方程 组 求解 问题 的 条 件数 的 上 限 也 近 


似 为 矩阵 的 条 件数 . 

综 上 分 析 ,系数 矩阵 的 条 件数 对 线性 方程 组 求解 问题 的 敏感 性 影响 很 大 , 它 一 般 是 线性 
方程 组 求解 问题 的 条 件数 的 上 限 , 因 此 了 解 系数 矩阵 条 件数 的 大 小 是 非常 重要 的 . 如 果 系 
数 矩 阵 条 件数 很 大 ,我们 称 之 为 病态 天 阵 (ill-conditioned matrix) ,对 应 的 线性 方程 组 求解 
问题 是 敏感 (病态 ) 问 题 ; 如 果 系 数 和 矩阵 的 条 件数 很 小 ,我 们 称 之 为 良 态 矩阵 (well- 
conditioned matrix) ,相应 的 线性 方程 组 求解 问题 不 太 敏 感 . 

例 3. 2( 病 态 矩 阵 ) : 求解 方程 组 Ax 一 1: 


| 1 oo01 Lj- [J 
考虑 右 端 项 扰动 | 0001 | 的 情况 ,通过 问题 的 条 件数 和 矩阵 条 件数 研究 问题 的 


[ 解 】 原 方程 解 x 一 | ”| 一 [|]. 扰动 后 方程 为 


2 
1 1 y1 2 
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、 2 1 me 、 二 a 
其 解 为 ?一 | |-| | 右 端 项 扰动 造成 解 的 误差 Ar=y—x=|[ | 则 在 oo- 范 数 意义 
ys 
Taxl/lxl V2 
下 ,cond [Abl /ob ~ 0000173 10 000, 而 
1.0001 一 1.0000 
cond(4)- 一 ‖4|1。 AT, = 2.0001 xX |10: x | | 
一 1.0000 1.00003J1- 


一 2.0001 X 104 x 2. 0001 2 40 000. 
这 说 明 这 个 线性 方程 组 求解 问题 很 敏感 ,也 验证 了 和 矩阵 条 件数 为 问题 条 件数 的 上 限 . 国 
例 3.3( 良 态 矩 阵 ) : 求解 方程 Ax 二 b: 


Pl 


0 
的 情况 ,通过 问题 的 条 件数 和 矩阵 条 件数 研究 问题 的 


考虑 右 端 项 扰动 Ab 一 | 00001 


敏感 性 . 
【 解 】 原 方 程 解 x 一 | ”| 一 [ ) ] , 扩 动 后 方程 为 


| 上 [ok 


其 解 为 = ]=[ 5 Ee S| 
长 时 坟 1. 000 05J 项 巩 局 JJ 医者 AX 二 y 一 x 0 0000 引 
co- 范 数 意 义 下 ,问题 和 矩阵 4 的 条 件数 分 别 为 
= Axl/lxl -0.00005 _ 
cond = TasT /To ~ 000072 一 1 
0.5 0.5 
condC4)。 = 141 A- 1- =2x|[ ] 二 过 
二 -有 :5 0c5. 
这 说 明 此 问题 是 不 敏感 的 ,系数 矩阵 是 良 态 和 矩阵. 国 
例 3.4( 希 尔 伯 特 矩阵 ) : 希 尔 伯 特 (Hilbert) 给 阵 瓦 , 的 定义 如 下 : 
i 1 
:到 专 
下 ”也 下 
H, = 3 基于 二 |; 
1 让。 ，， 1 
n 7 十 1 号 到 一 
试 按 co- 范 数 计算 互 , 和 H 的 条 件数 . 
i 
WS 一 三 
3 9 =*36 30 
【 解 ] H; 一 到 了 工 |， ms 192 | 
站 30 一 180 180 
号 4 5 
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则 HH | -= 号 ， | Hj! | ,=408, 所 以 cond(H;). 一 748. 


i i 

有 

和 6 :三 1 而 240 ”一 140 

2 3 4 5 一 120 1200 一 2700 1680 
H, = ,p= ， 

于 下 二 240 一 2700 6480 一 4200 

3 4 5 6 一 140 1680 一 4200 2800 

a 

| 5 6 7 


则 | H | 一， Hz |。 一 13 620, 所 以 cond( Hi)。 =28 375. 


从 这 个 例子 看 出 , 随 着 阶 数 从 3 增 大 到 4 ,和希 尔 伯 特 矩阵 的 条 件数 增 大 了 几 十 倍 . 事实 
上 ,和希 尔 伯 特 矩阵 H, 是 一 种 著名 的 病态 矩阵 , 阶 数 n 越 大 ,其 病态 性 越 严 重 . 

上 面 的 分 析 和 例子 说 明 ,和 矩阵 的 条 件数 是 判断 线性 方程 组 求解 问题 敏感 性 的 重要 指标 ， 
是 数据 传递 误差 放大 倍数 的 上 限 . 下 面 给 出 有 关 和 矩阵 条 件数 的 一 些 重 要 性 质 

定理 3.11: 在 和 矩阵 的 算 子 范 数 意 义 下 ,和 矩阵 4 的 条 件数 满足 


cond(A) = max | Aax | /in axl. (3. 8) 
| xl z0 | xl 
【证 明 】 首先 推导 矩阵 算 子 范 数 意义 下 4 的 公式 
El 
la mp TT Ta Se 
min x 


上 述 推 导 的 第 二 步 做 了 y= 二 Ax 的 变量 代 换 . 再 根据 条 件数 的 定义 , 便 得 到 式 (3. 8). 国 
公式 (3.9) 说 明 ,4 一 的 算 子 范 数 为 矩阵 4 对 应 的 线性 变换 对 向 量 的 最 小 * 拉 长 ”倍数 的 
倒数 ,或 者 说 是 最 大 “压缩 倍数. 根据 定理 3. 11 可 对 矩阵 条 件数 做 出 一 个 形象 的 解释 , 它 
反映 了 线性 变换 作用 于 维 空 间 的 “单位 球 ” 后 得 到 图 形 的 扭曲 程度 . 
可 以 将 系数 矩阵 为 奇异 矩阵 的 情形 看 成 是 最 病态 的 线性 方程 组 ,因此 规定 奇异 矩阵 的 
条 件数 为 无 穷 大 . 和 矩阵 条 件数 越 大 说 明和 矩 阵 越 接 近 奇 异 ,其 数值 反映 矩阵 的 近 奇 异 程度 . 
与 之 对 比 , 和 矩阵 的 行列 式 不 能 反映 和 矩阵 接近 奇异 的 程度 . 
下 面 给 出 矩阵 条 件数 的 几 条 重要 性 质 . 
定理 3.12: 矩阵 的 条 件数 满足 如 下 性 质 
(1) 设 4 为 任意 非 奇异 矩阵 , 则 
cond(4) 三 1， 
cond(4-) = cond(A), 
cond(cA ) 一 cond(4)， Vc 关 0. 
(2) cond( 了 )= 二 1,T 为 单位 阵 . 
(3) 设 也 为 任意 对 角 和 矩阵 , 则 


cond(D) > ee 人 上 其 中 ， di (i 二 1,…,n) 为 DD 的 对 角 线 元 素 . 特别 地 ,车 采用 户 范 


@ 在 实际 问题 中 很 少 会 遇 到 真正 的 奇异 矩阵 (由 于 误差 ) ,但 会 出 现 近 奇 异 和 矩阵 . 
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数 ,等 号 成 立 . 
(4) 若 采 用 2- 范 数 , 则 
cond(4)s 一 /各 全 多 ,其 中 hs(。) un(。) 分 别 为 求 抢 阵 最 大 ,最 小 特征 值 的 
(5) 若 @ 为 任意 正 交 矩阵 , 则 
cond(@): = 1， 
cond(QA), = cond(AQ), = cond(A),. 
定理 3.12 中 (1) 的 各 条 结论 是 显然 的 ,例如 从 公式 (3.8) 可 得 出 cond(4) 三 1 的 结论 . 
定理 3. 12 的 其 他 内 容 也 可 根据 矩阵 算 子 范 数 的 定义 和 特殊 矩阵 的 性 质 加 以 证 明 , 留 给 感 兴 
趣 的 读者 思考 . 


3.2 高 斯 消去 法 


高 斯 消去 法 (Gauss elimination method) 是 求解 线性 方程 组 的 基本 方法 ,各 种 直接 解法 
基本 上 都 是 高 斯 消去 法 的 变形 ,或 者 针对 特殊 矩阵 的 改进 . 本 节 介 绍 一 般 的 高 斯 消去 法 
和 高 斯 - 约 当 消去 法 . 另外 ,在 本 章 的 后 续 讨 论 中 , 若 没 有 特殊 说 明 都 假设 系数 矩阵 非 
奇异 . 


3.2.1 基本 的 高 斯 消去 法 
先 通过 一 个 例子 简要 说 明 高 斯 消去 法 求解 线性 方程 组 的 过 程 . 
例 3.S( 高 斯 消去 法 求解 线性 方程 组 ) : 求解 线性 方程 组 
10zxi 一 7z? 一 7 
上- 37z1 十 2zz 十 6za3s 王 4 
571 一 Zz 十 57zs 一 6 
【 解 】 采用 高 斯 消去 法 ,求解 过 程 分 为 消去 和 回 代 求解 两 个 步骤 . 下 面 写 出 线性 方程 
组 对 应 的 增 广 矩阵 (包含 系数 矩阵 和 右 端 项 ) ,根据 它 说 明 消去 过 程 . 
10 = Oi 
三 澡 2 6: 和 
5 一 1 5 ;6 
高 斯 消去 过 程 就 是 对 增 广 矩 阵 做 初等 行 变换 ,将 系数 矩阵 变换 为 上 三 角 矩 阵 . 具体 步 
又 如 下 : 
将 第 一 个 方程 中 的 所 有 系数 及 右 端 项 系数 均 除 以 10( 归 一 化 操作 ) ,得 
1 一 07 03107 
-3 2 6i4 
5 —1 5i6 
然后 将 第 二 个 方程 加 上 第 一 个 方程 的 3 倍 , 第 三 个 方程 减 去 第 一 个 方程 的 5 倍 ,得 
07 OOT 


0 一 0.1 6:6.1 
0 计 襄 号 汪 
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将 第 二 个 方程 中 的 所 有 系数 及 右 端 项 系数 均 除 以 一 0. 1, 得 


1 -0o07 0: 0.7 

让， 三 的 二 而 | 

0 2.5 Hl 
然后 将 第 三 个 方程 减 去 第 二 个 方程 的 2. 5 倍 , 得 

1 —0.7 0: 0.7 

0 1 —60 :—6l | 

0 0 To | ‘js5 


它 对 应 于 与 原 方程 组 等 价 的 上 三 角形 方程 组 


有 一 0.7 
大 一 0600 一 一 6 


155xzs 一 155 

此 时 执行 第 二 步 : 回 代 求解 . 先 从 第 三 个 方程 解 出 xz; 二 1, 将 它 代入 第 二 个 方程 解 出 
Zz 二 一 1, 将 它们 再 代入 第 一 个 方程 解 出 xz 二 0. 国 

一 般 地 ,高 斯 消去 过 程 对 增 广 矩阵 执行 两 种 初等 行 变换 : 

(a) 某 一 行 乘 以 非 零 常 数 c( 倍 乘 变换 ). 

(b) 将 某 一 行 乘 以 非 零 常数 c 后 加 到 另 一 行 (倍加 变换 )， 

回 代 过 程 先 根据 上 三 角形 方程 组 的 最 后 一 个 方程 解 出 xz, ,然后 将 解 依次 代入 上 一 个 方 
程 , 按 rz、 ze、 2a 的 顺序 解 出 所 有 的 未 知 量 . 下 面 给 出 消去 过 程 的 算法 描述 . 


算法 3.1: 求解 线性 方程 组 的 高 斯 消去 过 程 . 
输入 : A, n, 5b; 输出 : A,b. 
For k=1, 2, .…, 7 一 1 
If aw 二 0 then 停止 ; 
For ;一 & 十 1，& 十 2，… ,nn 
外 { 计 算 倍 乘 因 子 } 
For 7 一 &R 十 1，R 十 2，…，72 
ai :二 qjy 十 caw; 《更 新 矩阵 元 素 } 
End 
Bis Deb {更 新 右 端 项 } 
End 
End 


关于 算法 3.1, 说 明 两 点 : 
(1) 这 里 省 略 了 归 一 化 操作 ,变量 “ 记录 了 当前 行 应 乘 以 的 倍数 ,通过 行 倍加 变换 将 系 
数 矩 阵 对 角 线 以 下 部 分 变 为 0. 
(2) 采用 了 ” 原 地 工作 ”的 存储 方式 , 即 变换 后 的 矩阵 元 素 覆 盖 原 来 的 值 . 最 终 ,变换 后 
得 到 的 上 三 角 和 矩阵 存储 在 原始 矩阵 A 的 上 三 角 部 分 ,而 对 角 线 以 下 部 分 的 值 没有 意义 . 
算法 3.2 给 出 了 回 代 过 程 的 算法 描述 , 它 求解 上 三 角形 方程 组 Ux 二 b. 
。 70 。 


第 3 章 线性 方程 组 的 直接 解法 


算法 3.2: 求解 上 三 角形 方程 组 的 回 代 过 程 
输入 : U, n,b; 输出 : x. 
Eorm 7 7 1. ll 

If wi 二 0 then 停止 ; 

Xi :=b;; 

For j=n, n—1,.…, itl1 

i ee 

End 

Xi := Xi/ us; 
End 


在 求解 一 般 的 线性 方程 组 时 ,算法 3.2 中 的 上 三 角 和 矩阵 U 就 是 算法 3. 1 执行 后 的 结 
果 . 算 法 3.2 是 计算 公式 
gy = Uj 
i 
Um Ws 
的 直接 实现 , 它 对 和 矩 阵 U 的 元 素 按 一 行 一 行 的 顺序 读 取 ,并 且 算 法 的 执行 不 会 更 改 和 矩阵 U. 
需要 注意 的 是 ,算法 3.1 要 求 当 前 消去 步 的 矩阵 对 角 元 a 岂 关 0,(k 三 1,2,…,n 一 1) ,这 
里 用 上 标 () 表 明 它 与 原始 矩阵 4 的 对 角 元 不 同 , 而 算法 3. 2 要 求 矩 阵 U 的 对 角 元 不 为 零 
(这 是 矩阵 U 非 奇 异 的 要 求 ). 高 斯 消去 过 程 中 的 元 素 a 多 被 称 为 主 元 (pivot). 关 于 主 元 为 0 
情况 的 处 理 , 将 在 第 3.4 节 讨 论 . 
下 面 对 高 斯 消去 法 的 复杂 度 进 行 分 析 , 先 分 析 时 间 复 杂 度 , 即 统计 算法 中 浮 点 数 乘除 法 
和 加 减法 的 运算 次 数 . 先 看 算法 3.1, 最 外 层 循环 的 第 & 步 计算 nn 一 k 次 除法 、(n 一 k&)(n 一 
& 十 1) 次 乘法 ,因此 乘法 、 除 法 的 总 次 数 如 下 . 
A St 


除法 : ph 
乘法 : oo 
乘除 法 的 总 次 数 为 地 如 十 二 下 一 二 n， 当 nn 较 大 时 ， 最 高 次 项 二 六 的 值 远 大 于 其 他 低 次 


项 ,所 以 我 们 一 般 说 ,消去 过 程 中 浮 点 数 乘除 法 的 计算 次 数 约 为 二 mm， 从 算法 3. 1 可 以 看 
出 , 浮 点 数 加 减法 的 总 次 数 与 乘法 次 数 一 样 多 ,大 约 为 二 呈 . 

考虑 算法 3. 2 ,乘除 法 的 次 数 为 1 十 2 十 … 十 ma 一 到 十 斑 风 加 减法 次 数 为 0 十 1 十 … 十 
一 1 一 去 下 一 序 . 如 果 忽略 低 次 项 , 回 代 过 程 中 浮 点 数 乘除 法 的 计算 次 数 约 为 地 六 , 浮 点 数 
加 减法 的 次 数 也 与 它 差 不 多 . 

综 上 分 析 , 用 高 斯 消去 法 求解 一 个 刀 阶 线性 方程 组 (依次 执行 算法 3. 1 和 算法 3. 2) 大 
约 需 要 做 六 /3 次 浮 点 数 乘除 法 ,以 及 中 /3 次 浮 点 数 加 减法 .至 于 空间 复杂 度 , 上 述 算法 都 

2 . 
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采用 原 地 工作 方式 ,除了 原始 输入 数据 和 结果 几乎 不 需要 额外 的 存储 空间 . 
3.2.2 高 斯 - 约 当 消去 法 
前 面 讨论 的 高 斯 消去 过 程 只 将 系数 矩阵 对 角 线 下 方 的 元 素 消 为 0, 对 此 过 程 做 一 点 修 
改 , 可 以 将 对 角 线 下 方 和 上 方 的 元 素 都 消去 . 这 样 , 系 数 和 矩阵 就 被 变换 为 对 角 阵 (甚至 单位 
阵 ). 这 种 方法 称 为 高 斯 - 约 当 (Gauss-Jordan) 消 去 法 . 下 面 以 例 3. 5 中 的 方程 加 以 说 明 . 
例 3.6( 高 斯 - 约 当 消去 法 求解 线性 方程 组 ) : 求解 线性 方程 组 
LOwi = .7% =7 
一 3X1 十 2xz 十 6xs3 二 4 


50i= 二 十 525 三 0 
【 解 】 将 此 线性 方程 组 写成 增 广 矩 阵 的 形式 
195 =7 Qi 
= 2 6:4 
| 


高 斯 - 约 当 消 去 法 的 求解 过 程 就 是 对 增 广 矩阵 做 初等 行 变 换 , 消去 对 角 线 下 方 和 上 方 
的 元 素 . 具体 步骤 如 下 . 

将 第 二 个 方程 加 上 第 一 个 方程 的 0. 3 倍 ,第 三 个 方程 减 去 第 一 个 方程 的 0.5 倍 , 
10 -= Oi 
0 0 101 
0 2.6 5025 
将 第 一 个 方程 减 去 第 二 个 方程 的 70 倍 , 第 三 个 方程 加 上 第 二 个 方程 的 25 倍 , 得 


10 0 一 420; 一 420 
| 一 0.1 6 通 上 中 
0 0 155 155 
然后 ,将 一 个 方程 加 上 第 三 个 方程 的 420/155 倍 , 第 二 个 方程 减 去 第 三 个 方程 的 6/155 倍 ,得 
i0: 0 0 0 
0 =01 ‘© Ol 


0 0 155 155 
此 时 系数 和 矩阵 变换 为 对 角 阵 ,每 个 方程 可 独立 地 解 出 一 个 未 知 量 , 得 到 zi 二 0,zxs 王 

一 zs 三 二 国 
对 一 般 的 情况 ,下 面 给 出 高 斯 - 约 当 消 去 法 的 算法 描述 . 


算法 3.3: 求解 线性 方程 组 的 高 斯 - 约 当 消去 法 . 
输入 : A, n,b; 输出 : x. 
Hor ke 1 7 
If aw 二 0 then 停止 ; 
or =1, 2,.…, nn 有 目 zk 
CS RNS 


For j=k 二 1, k++2, …, n 
。 72 。 
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aj “a CQ 
End 
b; :=b;—co,; 
End 
End 
For i=1, 2,°…,n 
ba 
End 


与 算法 3. 1 一样, 算法 3. 3 也 要 求 主 元 不 等 于 0. 如 图 3-5 

所 示 ,高 斯 - 约 当 消去 法 将 系数 矩阵 第 & 行 的 灰色 部 分 乘 以 倍 

数 后 加 到 其 他 各 行 ,使 阴影 区 域 对 应 的 矩阵 元 素 得 以 更 新 ,最 
k 王 n 对 应 的 消去 操作 后 ， 甜 阵 变 为 对 角 阵 . 

面 分 析 高 斯 - 约 当 消去 法 的 算法 复杂 度 . 讨论 时 间 复 杂 

ee 3. 3 中 最 内 层 For 图 3-5 高 斯 - 约 当 消去 法 对 系 


循环 中 执行 的 运算 次 数 ,乘法 次 数 为 数 和 矩阵 的 操作 示意 图 
(人 一 1)(2 一 1) 十 (人 一 1)(0 一 2) 十 … 十 (2 一 1) Xl 


Ee ) 2 13 一 了 
加 减法 的 次 数 也 约 为 本， 所 以 ,高 斯 - 约 当 消去 法 的 计算 量 大 约 比 标准 的 高 斯 消去 法 多 
50%. 在 空间 复杂 度 方面 ,由 于 采用 原 地 工作 方式 ,几乎 不 需要 额外 的 存储 空间 ,但 它 也 修 
改 了 原来 的 系数 矩阵 . 

上 面 分 析 表 明 ,高 斯 - 约 当 消 去 法 并 不 比 标准 的 高 斯 消去 法 具有 优势 ,一 般 不 用 它 求解 
线性 方程 组 . 但 由 于 高 斯 - 约 当 消去 法 的 消去 过 程 中 工作 量 分 布 均匀 , 解 的 所 有 分 量 可 以 同 
步 算出 ,因此 可 以 在 一 些 并 行 算法 中 使 用 . 

高 斯 - 约 当 消去 法 的 一 个 主要 用 途 是 计算 和 矩阵 的 逆 . 在 高 斯 - 约 当 消去 过 程 的 基础 上 ， 
对 各 和 矩阵 行 执行 归 一 化 操作 可 将 其 化 为 单位 阵 . 将 抢 阵 A 变 为 单位 阵 的 一 系列 初等 行 变 换 
对 应 于 初等 变换 答 阵 Ei,E;,…,E,, 则 

E,…E,EA= 1 
>E,*…EE = 4 
一 4 = E,*…E,El. (3. 10) 
公式 (3.10) 表 明 , 如 果 将 所 有 这 些 变 换 依次 作用 于 单位 阵 , 则 得 到 和 矩阵 4 的 逆 和 矩阵 A“*. 因 
此 ,得 到 如 下 的 短 阵 求 逆 算法 . 


算法 3.4: 矩阵 求 逆 算 法 . 
输入 : A, 72; 输出: B. 
B :一 了 ; 
IE 于 7 

If a 二 0 then 停止 ; 


a 
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For 7) 三 & 十 1,R 十 2,…，7 
7 BY {对 当前 行 归 一 化 } 
End 
Bory 1 2 
by 一 站 /ai 
End 
For i=1, 2,.…, n 有 Bik 
For j=k 二 1, ki+2, .…,n 
ay UR 
End 
Fory=1> 2 
bi :=b; — axby’; 
End 
End 
End 


在 算法 3.4 中 ,和 矩阵 如 的 初始 值 为 单位 阵 , 算 法 执行 结束 
后 它 变 成 4 一. 在 算法 最 外 层 循环 的 第 & 步 ,初等 变换 对 和 抢 阵 
B 的 操作 如 图 3-6 所 示 , 其 中 ,灰色 区 域 和 阴影 区 域 为 要 更 改 
的 矩阵 元 素 . 对 算法 3. 4 分 析 计 算 复 杂 度 (结合 图 3-6) ,可 知 
求 矩 阵 的 逆 大 约 需 要 nw? 次 乘除 法 和 差不多 的 加 减法 . 与 前 面 
几 个 算法 一 样 ,这 个 求 逆 算 法 采用 原 地 工作 方式 ,修改 了 和 矩 阵 图 3-6 矩阵 求 送 过 程 中 ,对 结果 
A( 虽 然 逆 和 矩阵 存储 于 B 中 ). 和 矩阵 的 操作 示意 图 

例 3.7( 和 矩阵 求 逆 ) : 求 矩 阵 


F 0 = 0 
-| 2 6 
5 一 1 5J 


的 逆 矩 阵 . 
【 解 】 使 用 算法 3. 4 进行 计算 ,为 了 表达 方便 ,对 增 广 矩阵 [LA , 刀 
0 =7 OH O00 
-3 26i0 10 
5 = 
执行 一 系列 初等 行 变换 ,使 得 矩阵 A 变换 为 单位 阵 . 具体 步骤 如 下 . 
首先 ,对 第 一 行 执行 归 一 化 ,得 


让 一 
一 3 2 6 ;0 1 | 
5 一 1 5 ;0 0 24 


将 第 二 行 加 上 第 一 行 的 3 倍 ,第 三 行 减 去 第 一 行 的 5 倍 , 得 
。 74 。 
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1 一 07 0: 01 0 0 
0 一 0.1 6: 0.3 1 | 
5 


0 家 忆 六 | 二 0 0. 
然后 ,对 第 二 行 执行 归 一 化 ,得 
T= Oi di 0 0 
0 1 —60:—3 一 10 | 
0 2.5 5 4; 一 0.5 0 1 


将 第 一 行 加 上 第 二 行 的 0.7 倍 , 第 三 行 减 去 第 二 行 的 2.5 倍 , 得 
1 0 —42: 一 2 一 7 0 
0 1 一 60 ;一 3 一 10 | 
0 0 155: 7 25 1 
然后 ,对 第 三 行 执 行 归 一 化 ,得 
1 0 三季 和 二 0 
: 1 —60:—3 一 10 0 | 
0 0 1: 0.0452 0.1613 0.0065 
将 第 一 行 加 上 第 三 行 的 42 倍 , 第 二 行 加 上 第 三 行 的 60 倍 , 得 
1 0 0:—0.1032 一 0.2258 wn 


0 1 0:—0.2903 一 0.3226 0.3871 
0 0 1: 0.0452 0.1613 0.0065 
为 了 简洁 ,这 里 只 显示 小 数 点 后 4 位 数字 . 最 终 得 到 
一 0.1032 一 0.2258 0.2710 
一 0.2903 一 0.3226 0.3871 | . 
0.0452 0.1613 0.0065 国 
应 当 注 意 的 是 ,由 于 计算 复杂 度 较 高 ,在 实际 应 用 中 应 尽量 避免 对 和 矩阵 求 逆 . 事实 上 ， 
很 多 数学 表达 式 中 虽然 包含 了 矩阵 的 道 ,如 40, 但 实际 计算 时 并 不 需要 真正 计算 4 , 比 
如 求解 方程 Ax==b 即 得 到 A71b 的 结果 ,这 比 求 出 4 一再 做 矩阵 乘法 更 有 效 ( 矩 阵 乘 法 需要 
mw 次 乘法 运算 ) ,也 更 准确 . 实际 问题 中 真正 需要 4 的 逆 的 情况 很 少 ,因此 一 旦 见 到 公式 中 
的 4 ,首先 应 想到 的 是 “ 解 方程 组 ”而 不 是 “ 求 矩 阵 的 逆 ” 
矩阵 的 条 件数 中 包含 了 矩阵 的 逆 , 有 时 可 以 不 精确 计算 条 件数 ,而 只 是 进行 估计 ,相关 
的 讨论 见 第 3. 7 节 以 及 参考 文献 [1]. 


4 = 


3.3” 算 阵 的 LU 分 解 
本 节 首 先 讨论 高 斯 消去 过 程 的 矩阵 形式 ,引出 矩阵 的 LU 分 解 , 然 后 给 出 一 种 直接 计算 
U 分 解 的 算法 ,最 后 介绍 如 何 利 用 和 矩阵 的 LU 分 解 求解 线性 方程 组 . 
3.3.1 高 斯 消去 过 程 的 矩阵 形式 


高 斯 消去 过 程 是 通过 一 系列 初等 行 变换 将 系数 矩阵 变 为 上 三 角 抢 阵 的 过 程 . 根据 线性 
代数 知识 ,初等 行 变换 可 通过 用 初等 变换 矩阵 左 乘 系 数 和 矩阵 来 实现 ,而 右 乘 初等 变换 矩阵 则 
5 
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实现 初等 列 变换 . 三 种 初等 变换 矩阵 E'”、E'” 和 EE" 具有 如 下 形式 : 
1 


EY 四 c 由 E? 一 SR 五 (3) = 光 


1 : 
其 中 ,和 矩 阵 中 空白 区 域 的 元 素 均 为 0, 而 对 角 线 上 “….” 处 的 元 素 均 为 1.E”、E” 和 EE” 分 别 
对 应 于 倍 乘 变换 .倍加 变换 和 交换 变换 (交换 两 行 或 两 列 ). 
对 一 般 的 阶 线性 方程 组 ,假设 消去 过 程 中 的 主 元 均 不 为 0, 则 只 需 使 用 行 倍加 变换 . 消 
去 当前 列 中 对 角 线 下 方 的 所 有 元 素 需 要 多 次 行 倍加 变换 ,它们 可 以 统一 用 一 个 消去 答 阵 表示 . 
定义 3.12: 若 nXn 的 矩阵 Mi 具有 如 下 形式 : 
1 


1 
AM = ， (3: 11) 


Mgt1,k 


7727 从 
其 中 除 主 对 角 线 上 和 第 & 列 最 后 nn 一 k 个 元 素 外 的 其 他 元 素 均 为 0, 则 称 Mi 为 第 & 类 的 7 
阶 消去 适 阵 ,下 标 k 为 类 型 数 ,mi,(i 二 k 十 1,…,n) 为 乘 数 (multiplier). 
根据 这 个 定义 ,得 到 消去 矩阵 的 一 些 性 质 . 
定理 3.13: nXn 的 消去 矩阵 满足 如 下 性 质 : 
(1) 消去 矩阵 为 单位 下 三 角 阵 ,因此 它 一 定 非 奇异 . 
(2) 若 wz0, 且 第 & 类 的 n 阶 消去 矩阵 Mi 中 的 乘 数 ma 二 一 a;/ax，,(i 二 =k 十 1,…,n),， 则 


1 al al 
1 CQ CA 
Ma = 一 ， SS 全 
772AH1 QAH 0 
772. 1 a 0 


即 Mi 可 对 向 量 a 实施 消 元 (使 其 第 & 十 1 到 第 nn 个 元 素 都 变 为 0) ; 若 as 二 0, 则 不 存在 能 对 
a 实施 相同 消 元 功能 的 第 & 类 消去 矩阵 . 
(3) 消去 矩阵 Mi 的 逆 和 矩 阵 为 
外 


7I2kH1 


eg 下 
即 它 与 Mi 的 区 别 只 是 乘 数 的 符号 相反 . 并 且 ,Mz 也 是 一 个 第 & 类 消去 矩阵 (对 应 不 同 的 
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向 量 a). 

(4) 如 果 Mi ,Mi GT >>A) 分 别 为 第 j) 类 、 第 人 类 消去 矩阵 , 则 乘积 MiM; 也 是 单位 下 三 角 
矩阵 , 且 它 的 非 零 元 素 为 Me 和 Mi 中 非 零 元 素 的 并 集 . 更 一 般 地 ,对 m 个 (mm 二 n) 消 去 矩阵 
Mi ,1 志 j 二 mn, 若 类 型 数 色 过 ks 二 … 过 6 , 则 乘积 Ma Me Mi 必 为 单位 下 三 角 和 矩阵 , 且 它 
的 非 零 元 素 为 各 个 因子 矩阵 非 零 元 素 的 并 集 . 

定理 3.13 的 性 质 (1) 一 (3) 比 较 简 单 ,也 很 直观 ,这 里 就 不 再 解释 . 下 面 对 性 质 (4) 做 一 
些 说 明 . 首先 看 两 个 不 同类 消去 矩阵 相 乘 的 情况 ,以 4 阶 方 阵 为 例 , 设 


1 0 0 0 1 ‘© 0 
m1 1 0 0 0 1 0 0 
Mi = ， M; = 5 
mr © 1 0 0 ma 1 0 
m1 0 0 1 0 m: 0 1 
显然 Mi 可 看 成 是 三 个 初等 倍加 变换 依次 作用 于 单位 阵 的 结果 , 则 计算 MiM。 只 需 对 
AM 做 相应 的 三 次 初等 行 倍加 变换 ,得 到 
@ ,0 
77221 1 0 0 
MM; = ， 
mal ms 1 0 


m1 m2 0 1 
即 Mi Ms 的 非 零 元 素 为 Mi 和 Mi 的 “并 ”. 改变 两 个 消去 阵 相 乘 的 顺序 , 易 得 到 如 下 结果 : 
1 0 “0 0 
M21 1 0 .0 
M2 Mi = 
77231 十 71712173 m2 1 0 
mi 十 mamaz m2 0 1 
MM 仍 是 单位 下 三 角 阵 ,但 不 再 是 两 个 乘法 因子 矩阵 的 “并 ”了 . 基于 类 似 的 分 析 可 证 明 
上 述 性 质 (4), 即 当 消 去 矩阵 的 类 型 数 互 不 相同 , 且 按 从 左 到 右 递增 的 顺序 相 乘 ,其 结果 将 是 
各 个 因子 矩阵 的 “并 ” 
根据 定义 3.12 ,高 斯 消去 过 程 就 相当 于 对 矩阵 4 不断 左 乘 消 去 和 矩阵 得 到 上 三 角 阵 
U, 即 


U = M1*…M:MiA, C8. 13) 
其 中 ,M;(i 二 1,2,…,n 一 1) 为 第 i 类 消去 矩阵 .由 于 消去 矩阵 均 非 奇异 ,公式 (3. 13) 等 价 于 
A = Mi'Mi'*…MAU, C3 14) 


根据 定理 3.13 的 性 质 (3) ,Mi Ma Mi 也 都 是 消去 矩阵 , 且 它 们 的 类 型 数 分 别 为 1、 


2 一 1.， 念 


L = Mi'Mi'…M, (3 1 
根据 定理 3. 13 的 性 质 (4) ,LL 为 单位 下 三 角 和 矩阵 ,因此 
4 一 工 U. (3. 16) 


公式 (3. 16) 被 称 为 矩阵 4 的 LU 分 解 (LU decomposition 或 LU factorization) ,也 称 为 
三 角 分 解 ,其 中 ,L 为 单位 下 三 角 阵 ,U 为 上 三 角 阵 . LU 分 解 是 一 种 重要 的 矩阵 分 解 , 也 是 
高 斯 消去 过 程 的 抢 阵 形式 表述 . 
定理 3. 14: 对 方程 Ax 二 5b, 其 中 ,AE R”™", 则 矩阵 4 存在 唯一 的 LU 分 解 的 充分 必要 
Pe 
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条 件 是 执行 高 斯 消去 过 程 中 的 主 元 各 天 0(R 一 1,2,… ,7 一 1). 

【证 明 】 只 证 明 充 分 性 ,必要 性 的 证 明 超 出 了 本 书 的 范围 . 前 面 的 推导 已 说 明了 LU 
分 解 的 存在 性 ,下 面 用 反 证 法 证 明 唯 一 性 . 

假设 L 和 U 是 不 唯一 的 , 即 存 在 两 个 单位 下 三 角 阵 Li 取 L ,或 两 个 上 三 角 阵 Ui 关 U; ,使 得 

A= LU = LU;, 

显然 Li 、L; 均 为 非 奇 异 阵 . 

先 考 虑 矩阵 4 为 非 奇异 的 情况 (这 也 是 一 般 的 情况 ). 由 于 Ui 二 L714A, 则 Ui 为 非 奇 异 
阵 ,上 述 方程 等 号 两 边 左 乘 Lz'，, 然后 右 乘 U7!, 得 

Li'l = UU (1 

由 于 Lz' 是 单位 下 三 角 阵 ,方程 (3. 17) 的 等 号 左边 为 单位 下 三 角 阵 ,类 似 地 ,等 号 右边 为 上 三 
角 阵 . 方程 (3. 17) 成 立 的 唯一 可 能 是 Liz 二 U2U7! 二 了 ,此 时 工 二 L; ,Ui 二 Ui ,与 假设 矛盾 . 

车 A 为 奇异 矩阵 ,LU =0, 可 用 分 块 矩 阵 的 技巧 证 明 充 分 性 , 感 兴趣 的 读者 请 参考 文 
献 [30]. 国 

消去 过 程 的 最 终结 果 是 矩阵 也 ,那么 如 何 计 算 和 矩阵 工 呢 ? 根据 定理 3. 13 以 及 公 
式 (3.15) ,矩阵 世 是 2 一 1 个 消去 矩阵 对 角 线 下 方 元 素 取 相反 数 再 “合并 ”的 结果 , 即 


= tn mi 
其 中 ,mi 为 消去 和 矩阵 Mj; 中 的 乘 数 . 设 消去 矩阵 Mi ,M;,…,M,-1 作 用 的 对 象 分 别 为 A ， 
42 4 则 wi 三 一 a 六 /a 六 ,其 中 ,a 这 为 第 ;7 步 消去 步 又 的 主 元 . 
综合 上 述 讨 论 ,得 到 用 高 斯 消去 过 程 进行 矩阵 LU 分 解 的 算法 . 


算法 3.5: 用 高 斯 消去 过 程 进 行 LU 分 解 . 
输入 : A, nn; 输出 : 4. 
For k= 1, 2, .…, n—1 
If aw 二 0 then 停止 ; 
For ;一 & 十 1，R 十 2，…，7 
ax :二 ax/aw; (计算 工 和 矩阵 的 元 素 } 
For 7 三 & 十 1，& 十 2，…，72 
Us Us “ardsy 
End 
End 
End 


算法 3. 5 仍然 采用 原 地 工作 的 存储 方式 . 算法 执行 结束 后 ,A 的 上 三 角 部 分 即 成 为 矩阵 UU 
的 上 三 角 部 分 ,而 对 角 线 以 下 部 分 是 矩阵 工 的 对 角 线 下 方 元 素 ( 对 角 线 上 的 1 不 需要 存储 ). 
算法 3.5 与 算法 3. 1 的 计算 过 程 差不多 ,只 是 少 了 对 右 端 项 的 处 理 . 简单 分 析 后 发 现 ， 


算法 3.5 中 浮 点 数 乘除 法 的 次 数 也 大 约 是 六 :加 减法 的 次 数 类 似 . 


。78。 


第 3 章 线性 方程 组 的 直接 解法 


例 3.8(CLU 分 解 ) : 用 高 斯 消去 法 求 矩 阵 
4 
4 


A= 


中 记 M 
卢 DO 


的 LU 分 解 . 
【 解 】 根据 算法 3. 5, 执 行 第 一 次 消去 过 程 , 乘 数 ma 三 一 4,ma 三 一 4 用 第 一 行 消 第 
二 三 行 , 使 得 矩阵 A 变 为 


次 多 
42 一 |0 一 4 中 
0 一 2 一 4 

执行 第 二 次 消去 过 程 , 乘 数 ws 三 一 1/2, 用 第 二 行 消 第 三 行 ,使 得 矩阵 4 变 为 
和 
A 一 |0 一 4 一 6 
0 0 一 ! 


A 即 为 矩阵 口 ,而 将 乘 数 的 相反 数 填 人 单位 阵 的 下 三 角 部 分 即 得 到 工 ; 


1 0 0 1 2 2 
L= |4 y “Qs -bh 一 4 十 
4 1/2 1 0 人 和 = 


通过 和 矩阵 相 乘 不 难 验证 4 一 工 U. 加 
3.3.2 矩阵 的 直接 LU 分 解 算法 


除了 通过 高 斯 消去 过 程 推 导 LU 分 解 外 ,还 可 直接 根据 矩阵 乘法 推导 出 LU 分 解 的 
算法 . 

例 3. 9( 根 据 和 矩阵 乘法 推导 LU 分 解 ): 将 矩阵 
二 交 2 
4 4 2 
4 6 4 
分 解 为 4 三 LU 的 形式 ,其 中 ,L 为 单位 下 三 角 和 矩 阵 ,U 为 上 三 角 和 矩阵 . 

【 解 】 设 和 矩 阵 工 的 元 素 为 i; ,U 的 元 素 为 ui , 则 根据 要 求 有 如 下 方程 : 


这 三 


1 0 0jfu Wu us 1 2 2 
ls 1 0 0 wz Uzs|l= |4 4 2|， 
31 La 1 0 0 uss 4 6 4 


上 述 方程 中 包含 9 个 未 知 数 ,而 等 号 两 边 的 矩阵 相等 意味 着 3X3 个 矩阵 元 素 对 应 相等 , 正 
好 构成 9 个 方程 . 先 看 等 号 两 边 和 矩阵 第 一 行 元 素 相等 得 到 的 方程 ,使 用 矩阵 乘法 得 

zl 一 1 

| 一 2， (C3. 18) 

zs 一 2 

直接 就 得 到 了 3 个 未 知 量 的 解 . 
再 看 等 号 两 边 矩 阵 第 一 列 元 素 相等 得 到 的 方程 ,除去 位 置 (1,1) 的 元 素 , 有 
。79 。 
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laun = 4 
ee 三 4 
将 公式 (3.18) 中 的 wi 二 1 代入 其 中 ,每 个 方程 只 有 一 个 未 知 量 , 解 出 
lz 一 4 
一 4 
根据 等 号 两 边 矩 阵 (2,2)、(2,3) 位 置 上 元 素 相等 列 方程 
lauwz 十 zzz 一 4 
十 xzs 一 和 
同样 ,每 个 方程 只 有 一 个 未 知 量 , 将 式 (3.18)、 式 (3.19) 代 入 后 解 出 
= 
( 一 一 6 
根据 等 号 两 边 矩 阵 (3,2) 位 置 上 元 素 相 等 列 方程 
laiu1z 十 lz U22 一 6， 
此 方程 中 实际 上 只 有 一 个 未 知 量 ,将 已 解 出 的 量 代 入 其 中 ,得 到 
ml 
最 后 比较 (3,3) 位 置 上 的 矩阵 元 素 , 列 方程 
lau3 十 Lazzzs 十 xss 一 6 
解 出 ws: 三 一 1. 至 此 ,通过 依次 比较 等 号 两 边 和 矩阵 的 各 个 元 素 , 解 出 了 和 矩阵 L 和 U 中 的 所 有 
未 知 量 , 得 到 A 的 LU 分 解 为 


(C3. 19) 


1 0 0 1 2 2 
到 :三 | 痊 1 0|, U= |0 一 4 
| 0 = 国 


通过 此 例子 可 以 看 出 , 若 能 按照 一 种 合理 的 次 序列 出 矩阵 元 素 对 应 相等 的 方程 ,矩阵 工 


Ul ea 后 Wik Ul all QI 可 而 
。 1 | 1 : 
[es g | 1 
1 日 
"| Up—1,k| Up—1 
a 1 1 el 
| 人 二 “0 | CQ | 
Wa lar 1 | Lu | 和 二 人 
RE 一 
1 
: : 1 | 
a nan en wa a a am | eam 


图 3-7 直接 三 角 分 解 方法 的 解法 示意 图 


首先 考虑 A 的 第 一 行 元 素 的 计算 , 它 由 荆 第 一 行 乘 以 避 各 列 得 到 . 由 于 工 第 一 行 除 
La 三 1 外 ,其 余 为 0, 则 有 
Uj 一 ai，J 一 1, 7， 
即 U 的 第 一 行 元 素 等 于 4 的 第 一 行 元 素 . 
再 考虑 4 的 第 一 列 其 他 元 素 的 计算 , 它 由 工 的 对 应 行 乘 的 第 一 列 得 到 . 由 于 UU 的 第 
一 列 只 有 xza 天 0Cai 三 aa ,假设 不 等 于 0), 则 可 解 出 


。 80 。 
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Qi s 
li = i1= 2,,n. 
Ull 


接 下 来 可 类 似 地 计算 出 UU 的 第 二 行 元 素 L 的 第 二 列 元 素 . 一 般 地 ,假设 UU 的 第 一 到 
k 一 1 行 已 知 ,LL 的 第 一 到 一 1 列 已 知 ,下 面 根据 4 第 & 行 .第 & 列 的 余下 元 素 列 方程 
(图 3-7 矩阵 4 中 的 虚线 框 ), 求 芝 的 第 & 行 汪 的 第 & 列 (图 3-7 中 虚线 箭头 指示 这 种 逐 
行 、 逐 列 求解 顺序 ). 先 看 4 第 & 行 的 后 面 2 一 A 十 1 个 元 素 , 它 由 工 的 第 & 行 乘 以 已 的 第 
列 及 其 后 各 列 得 到 (图 3-7 中 和 矩阵 工 和 U 中 的 虚线 框 指示 了 计算 an 所 需 的 矩阵 元 素 ), 列 
出 的 方程 为 


[mt 


Dus us =ay, (j= k,n), 
i=1 
其 中 As (i 二 1,… ,一 1) 均 已 知 ， en wj ， 即 得 到 UU 的 第 & 行 
= ay 一 2 G = k,n). (3. 20) 


再 看 A 的 第 k 列 的 后 面 n 一 k 个 元 素 ， 它 由 工 的 第 & 行 后 面 各 行 乘 以 芝 的 第 & 列 得 到 ， 
列 出 的 方程 为 


记名 六 十 La 一 Cz， (i 三 上 十 1,*……,n)， 


注意 到 4;， ye .… ,一 ]) 均 已 知 ， ux 在 上 一 步 已 求 出 ,假设 un 隆 0, 则 求 出 工 的 第 
& 列 


-Si Ua 


六 一 一 =L (=k 十 1, nn). (3. 21) 


Uk 
上 述 过 程 可 一 直 重 复 , 直 至 二 n. 注意 ,L 的 第 n 列 不 需要 计算 . 这 种 LU 分 解 的 方法 
称 为 直接 三 角 分 解 方法 ,算法 描述 如 下 . 


算法 3.6: 和 矩阵 的 直接 LU 分 解 算法 . 
输入 : A,n; 输出 : A. 
For k=1, 2, …,n 1 
If aw 二 0 then 停止 
For i 二 k 十 1, k 十 2, …, n ”人 {计算 工 和 矩阵 的 第 & 列 } 
Ko 1 2 kl 
Qi an QnMas; 
End 
Qi :aig/am; 
End 
For 7 一 有 十 1， 有 十 2，…， 元 {计算 UU 和 矩阵 的 第 & 十 1 行 } 
Forz= ly 23 ">k 
CEHI 一 CE CE TCD 
End 
End 
End 
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与 前 面 的 算法 一 样 ,结果 矩阵 工 和 的 数据 覆盖 原始 矩阵 4. 由 于 0U 的 第 一 行 L 的 最 
后 一 列 不 需要 计算 ,算法 中 先 求 工 的 第 & 列 ,再 求 U 的 第 十 1 行 , 依 据 的 计算 公式 分 别 为 
式 (3.21) 和 式 (3.20). 算法 3.6 中 乘除 法 的 次 数 为 


22 hk 一 2(> v2 一 守 ) a 

与 算法 3. 5 的 计算 量 基本 相同 . 

事实 上 ,可 以 证 明 上 述 直接 LU 分 解 的 计算 结果 与 高 斯 消去 过 程 的 结果 完全 一 样 , 它 们 
的 前 提 都 是 主 元 a 凤 关 0(k 二 1,2,…,n 一 1), 因 此 它 属 于 高 斯 消去 法 的 一 种 变形 了 . 算 
法 3. 6 与 算法 3. 5 的 不 同 之 处 在 于 , 它 比较 直接 地 算出 L 和 U 中 的 元 素 , 而 不 需要 经 过 多 
次 数值 的 更 新 . 对 于 稠密 和 矩阵 (采用 二 维 数组 存储 ) 的 情况 ,不同 高 斯 消去 法 的 变形 是 完全 
等 价 的 ,计算 量 没有 什么 差别 . 但 对 于 某 些 稀 玻 矩阵 (采用 特殊 的 方式 存储 矩阵 , 详 见 3.6 
节 ) 或 者 并 行 计算 环境 ,这 些 不 同 算法 的 效率 则 可 能 差别 很 大 . 

最 后 说 明 一 点 ,以 上 讨论 的 LU 分 解 都 称 为 杜 利 特 尔 (Doolittle) 方 法 ,由 它 得 到 工 和 矩阵 
为 单位 下 三 角 阵 ,U 为 上 三 角 阵 . 矩阵 的 另 一 种 LU 分 解 称 为 克 劳 特 (Crout) 方 法 ,其 中 ， 
天 矩阵 为 下 三 角 阵 ,U 为 单位 上 三 角 阵 . 


3.3.3 LU 分 解 的 用 途 


采用 矩阵 的 LU 分 解 ,不 但 得 到 简洁 的 数学 表达 式 ,而 且 便于 高 效率 地 解决 实际 遇 到 的 
线性 方程 组 求解 问题 . 假设 已 知 矩 阵 的 LU 分 解 , 即 A 二 LU, 则 方程 (3. 1) 的 解 为 
x=A'b=U'L'b, 
它 通过 两 步 来 完成 . 先 求解 单位 下 三 角 方程 组 Ly 二 b 得 到 ?一 工 2, 再 求解 上 三 角 方 程 组 
Ux 三 y. 求解 上 三 角 方程 组 的 算法 为 算法 3.2, 下 面 给 出 求解 单位 下 三 角 方程 组 Lx==b 的 算法 . 


算法 3.7: 求解 单位 下 三 角 方 程 组 的 前 代 过 程 . 
输入 : 工 , n,b; 输出 : x. 
For i=1, 2, *%, Nn 

21 :=b;; 

For j=1, 2,°.", i—1 

i 

End 

End 


算法 3.7 利用 了 单位 下 三 角 和 矩阵 对 角 线 元 素 为 1 的 特点 ,对 应 的 计算 公式 为 
x1 =b, ey (i = 2, ,nn). Ca. 22) 
该 算法 的 计算 复杂 度 与 算法 3. 2 是 一 样 的 , 即 需要 大 约 蕊 次 浮 点 数 乘除 法 . 
在 实际 应 用 中 还 经 常 遇 到 方程 的 右 端 项 发 生 改 变 的 情况 ,车 直接 用 高 斯 消去 过 程 


@ 和 矩阵 的 LU 分 解 可 采用 多 种 形式 不 同 \ 但 数学 上 等 价 的 算法 实现 ,它们 都 可 看 成 是 高 斯 消去 法 的 变形 . 
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(算法 3.1.3.2) 求 解 , 则 要 重复 消去 过 程 , 整 个 计算 量 要 翻 倍 . 基于 矩阵 的 LU 分 解 只 需 对 
新 的 右 端 向 量 执行 前 代 和 回 代 过 程 即 可 . 假设 需要 对 m 个 不 同 的 右 端 项 求 相 应 的 解 ( 称 为 
多 右 端 方 程 组 问题 ), 则 总 计算 量 约 为 n? /3 十 mm? (乘除 法 次 数 或 加 减法 次 数 ). 下 面 给 出 求 
解 多 右 端 方程 组 

Ax; =b, (i= 1,.,m) (3. 23) 
的 算法 描述 . 


算法 3.8: 利用 LU 分 解 求解 多 右 端 方程 组 . 
输入 : A,n,bi,i 二 1,…,m; 输出 : xi,i 二 1,…,m. 
执行 算法 3.5 或 算法 3.6 对 4 进行 LU 分 解 ; 
Rori= D3 2m 

执行 算法 3.7 求解 Ly; 二 b;; 

执行 算法 3.2 求解 Ux; 二 y;; 
End 


基于 LU 分 解 也 可 求 矩 阵 4 的 逆 和 矩阵 ,其 基本 思路 是 采用 算法 3. 8, 并 令 个 右 端 向 量 
为 单位 阵 工 的 各 列 ,依次 得 到 4 的 各 列 . 应 注意 的 是 ,为 了 提高 计算 效率 需 根据 单位 阵列 
向 量 的 特点 优化 前 代 ( 算 法 3.7) 和 回 代 过 程 ( 算 法 3.2), 才 能 使 总 的 计算 量 降 为 约 m? 次 乘 
除法 ,与 利用 高 斯 - 约 当 消 去 法 的 算法 3. 4 一 样 . 


3.4” 选 主 元 技术 与 算法 稳定 性 


本 节 先 讨论 高 斯 消去 过 程 需 要 选 主 元 的 情况 和 选 主 元 带 来 的 好 处 ,然后 介绍 使 用 部 分 
主 元 技术 的 LU 分 解 以 及 其 他 选 主 元 技术 ,最 后 讨论 高 斯 消去 法 的 稳定 性 . 


3.4.1 为 什么 要 选 主 元 


在 高 斯 消去 过 程 和 高 斯 - 约 当 消去 过 程 中 ,都 做 了 主 元 a 名 关 0, (k= 二 1,…,n 一 1) 的 假 
设 ,矩阵 的 直接 LU 分 解 ( 算 法 3. 6) 也 有 相同 的 要 求 . 下 面 先 给 出 一 个 定理 ,说 明 如 何 判断 
对 一 个 矩阵 实施 高 斯 消去 过 程 会 不 会 出 现 零 主 元 . 

定理 3. 15: 对 于 和 矩 阵 AE R"”" ,实施 高 斯 消去 过 程 时 不 出 现 零 主 元 的 充 要 条 件 是 ,4 的 
前 ?一 1 个 顺序 主子 式 均 不 为 零 , 即 det(Ai) 关 0,(k 二 1,…,n 一 1). 

【证 明 】 先 证 必要 性 , 即 由 主 元 均 不 为 零 推 出 前 n 一 1 个 顺序 主子 式 不 为 零 . 假设 矩阵 A 
经 过 A 一 1 步 消去 过 程 后 变 为 矩阵 A” ,如 图 3-8 所 示 , 则 

A® = M1:…M MA 
>A = MiMi MA A®, 
其 中 ,Mi ,… ,M1 为 k 一 1 个 不 同类 型 的 消去 矩阵 , 则 M6 _ i 
Mi'Mz1…Mi 为 单位 下 三 角 阵 (根据 定理 3. 13), 而 4 一 () ee 
MA”. 矩阵 A 的 & 阶 主子 阵 As 等 于 M 与 4 的 & 阶 主子 a a 
阵 之 乘积 ,而 它们 分 别 为 单位 下 三 角 阵 与 非 奇异 上 三 角 阵 图 3-8 高 斯 消去 过 程 中 的 矩阵 A 
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( 见 图 3-8), 所 以 A 非 奇 异 ,det(Ai) 关 0,(k 二 1,*…,n 一 1). 

再 证 充分 性 , 即 由 前 n 一 1 个 顺序 主子 式 不 为 零 推 出 主 元 均 不 为 零 . 显然 第 一 个 主 元 
< 中 一 天 0, 下 面 证 明 其 他 主 元 也 不 等 于 零 . 采用 反 证 法 ,不 妨 设 前 & 一 1 个 主 元 均 不 为 零 ， 
而 a 中 二 0(2<k<n 一 1) ,因此 可 实施 4 一 1 步 消去 得 到 如 图 3-8 所 示 的 A“. 应 注意 的 是 ， 
A 的 & 阶 主子 阵 对 角 线 上 有 和 零 元 素 , 为 奇异 矩阵. 而 A 的 & 阶 主 子 阵 Ai 非 奇 异 , 它 经 过 高 
斯 消去 变换 变 成 42 的 & 阶 主子 阵 , 也 应 该 是 非 奇 异 和 矩阵 ,因此 产生 矛盾 . 所 以 必 有 主 元 
a 0 (R= 1 n 1. 图 

结合 定理 3. 14 和 定理 3. 15 可 看 出 ,矩阵 4 存在 唯一 的 LU 分 解 的 充 要 条 件 是 4 的 前 
n 一 1 个 顺序 主子 式 均 不 为 零 . 应 注意 的 是 , 若 不 满足 前 n 一 1 个 顺序 主子 式 均 不 为 零 的 条 
件 ,矩阵 4 也 可 能 有 无 穷 多 个 LU 分 解 . 此 外 ,即使 矩阵 4 不 存在 LU 分 解 也 不 意味 着 4 是 
奇异 和 矩阵. 

例 3. 10( 不 能 做 LU 分 解 的 非 奇 异 阵 ): 试 求 下 述 线性 方程 组 系数 矩阵 的 LU 分 解 , 并 
判断 该 线性 方程 组 的 可 解 性 : 


的 as 
32z1 十 zz 一 4 


0 2 
【 解 】 系数 邱 阵 为 4 一 | 。 1] ,第 一 个 主 元 cn 一 0, 无 法 执行 高 斯 消去 过 程 , 而 且 即 使 


采用 待定 系数 法 也 无 法 求 出 三 各, 因此 矩阵 么 不 能 进行 LU 分 解 . 另 一 方面 ,由 于 detCA) 二 
一 6, 和 矩阵 全 非 奇异 ,该 方程 有 唯一 的 解 :zx 一 1, 必 一 1 图 
存在 无 穷 多 种 LU 分 解 的 例子 也 很 容易 构造 ,例如 将 上 例 中 系数 算 阵 改 为 | 。 | 

再 说 明 一 点 ,满足 定理 3.15 的 条 件 只 表明 矩阵 4A 存在 唯一 的 LU 分 解 ,并 不 说 明 它 
非 奇 异 ， 例 如 奇异 矩阵 4=| |], 它 只 有 一 个 主 元 mn 一 1, 易 知 a=|， "J[ 上 
LU. 这 种 奇异 矩阵 做 LU 分 解 得 到 的 U 矩阵 最 后 一 个 对 角 元 为 零 ,无 法 执行 回 代 过 程 ( 算 
法 3. 2). 

对 于 实际 常 遇 到 的 非 奇 异 线性 方程 组 ,可 采用 选 主 元 (pivoting) 的 办 法 解决 高 斯 消 
去 过 程 中 出 现 零 主 元 的 问题 .假设 第 & 步 消去 过 程 主 元 < 如 一 0, 可 将 方程 组 的 第 于 行 
和 它 后 面 第 去 (2 人 > 月 行 交换 ,只 要 at 天 0 交换 后 得 到 矩阵 的 当前 主 元 就 不 为 零 ,可 
继续 高 斯 消去 过 程 ， 显 然 实 施 这 种 交换 变换 不 改变 原 方程 的 解 ,并 且 通 过 它 一 定 能 “ 选 
出 ”一 个 不 为 零 的 主 元 这 一 点 可 以 通过 如 图 3-8 所 示 的 矩阵 A 说 明 , 根 据 行列 式 
det( A ) 的 计算 方法 ,可 证 明 列 元 素 a 中 ，… ,a 外 中 至 少 有 一 个 不 等 于 零 . 将 这 个 结论 
归纳 为 如 下 定理 . 

定理 3.16: 设 和 矩阵 AE R", 且 非 奇异 , 若 对 A 实施 高 斯 消去 过 程 时 主 元 a 个 一 0, 则 该 
列 下 方 至 少 有 一 个 元 素 不 为 零 , 即 存在 i 之 k,as 取 0. 

上 述 选 主 元 过 程 保证 了 高 斯 消去 法 的 顺利 进行 ,此 外 , 选 主 元 还 有 减 小 计算 误差 的 作 
用 .由 于 消去 过 程 中 的 乘 数 ms 一 一 a 多 /a 多 ,车 使 主 元 a 外 的 值 尽 可 能 大 , 则 得 到 绝对 值 较 
小 的 mix; 用 它 乘 以 当前 矩阵 行 加 到 其 他 行 时 可 减 小 对 操作 数 上 数据 误差 的 放大 . 

例 3. 11( 小 主 元 的 情况 ) : 解 线性 方程 组 
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é LIi 下 
=| 
其 中 ,s 为 一 个 很 小 的 正 数 (小 于 浮 点 系统 机 器 精度 sum 的 一 半 ) ,如 果 不 做 行 交换 ,得 到 消去 
过 程 的 乘 数 为 一 1/e, 做 一 次 消去 后 增 广 矩阵 为 


F 1 : 下 ] 
和 下 


由 于 1 和 1/e 的 值 相差 悬殊 ,做 浮 点 数 加 减 时 1 会 被 1/e 重 没 ”定理 1.6), 同 理 se 也 会 被 
1/e“ 知 没 ”, 因 此 在 浮 点 计算 中 增 广 矩 阵 为 


[: 1 : 1 ] 
0 一 l/s 一 1/e 二 
解 出 zz 一 1,z = 二 (1 一 1)/e=0. 


容易 算出 这 个 方程 的 准确 解 为 x2 三 1 十 e 宅 1,x7 二 一 1 可见 ,数值 解 zx 的 误差 非常 
大 . 上 述 高 斯 消去 过 程 对 应 的 LU 分 解 为 


1 0 E 1 E 1 
nd re | 
l/e 1 0 1—1/e 0 —1/e 


最 后 一 个 等 号 是 由 于 1 和 1/e 的 值 相差 悬殊 . 但 是 


ro=[, 7 || 1 [a | A 
ix -1 0 = ly oA 


这 也 说 明了 小 主 元 造成 了 不 可 恢复 的 信息 损失 . 
如 果 交 换行 , 主 元 变 为 较 大 的 1, 对 应 得 到 增 广 和 矩阵 


1 l:e 
[ 1 小 
利用 乘 数 为 s 做 一 次 消去 后 得 到 


|。 1 E ] 
0 ee 


考虑 浮 点 计算 的 舍 人 ,实际 计算 的 增 广 矩阵 为 


|。 加 
0 1 


由 此 解 出 zz 二 1,z1 二 e 一 1 三 一 1 ， 它 与 准确 解 几 乎 是 相等 的 . 国 
上 述 例子 当然 是 很 极端 的 情况 ,但 它 说 明了 小 主 元 带 来 的 误差 危害 . 综 上 所 述 ,通过 选 
主 元 ,一 方面 可 解决 高 斯 消去 过 程 算 法 中 断 的 问题 , 另 一 方面 也 可 减少 小 主 元 带 来 的 误差 


3.4.2 使 用 部 分 主 元 技术 的 LU 分 解 


基于 3.4.1 节 的 讨论 ,假设 矩阵 A 非 奇异 ,在 高 斯 消去 的 第 & 步 可 选择 i, (i 之)， 
使 得 


(有 
|at |= max| < 各 ， 
去 沁 5 
A<i<n 


即 当 前 列 未 消去 部 分 的 最 大 元 素 , 若 i 关 &, 交 换 和 矩阵 A 的 第 i 行 与 当前 的 第 上 行 ,实现 选 主 
元 。 这 种 做 法 称 为 部 分 主 元 (partial pivoting) 消 去 法 ,或 列 主 元 消去 法 . 采用 它 之 后 , 既 可 保证 
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主 元 不 等 于 零 ,也 可 保证 消去 时 的 乘 数 不 超 过 1, 达 到 抑制 数据 误差 放大 ,传播 的 作用 。 
下 面 推导 部 分 主 元 高 斯 消去 法 对 应 的 矩阵 分 解 形式 . 先 讨论 初等 交换 阵 的 性 质 . 
定理 3.17: 设 初等 交换 矩阵 Pi 为 交换 单位 阵 工 的 第 & 行 和 第 立行 ( 羡 过) 得 到 的 矩阵 
( 见 图 3-9) , 则 
(1) P; 是 对 称 阵 , 即 Pi 二 P,. 


0 1 第 & 行 (2) Pi 的 闭 矩 阵 为 自身 , 即 Px! 二 Pi ,PP 一 工 
人 (3) 将 Pi 右 乘 某 个 和 矩阵 实现 矩阵 列 的 交换 , 即 MP 的 
1 0. 第 立行 结果 为 将 矩阵 M 的 第 k 列 和 第 ii 列 交换 . 
基于 不 选 主 元 高 斯 消去 过 程 的 矩阵 表示 ,部 分 主 元 消 
图 39 初等 交换 阵 吕 去 过 程 可 表示 为 
MiP, 1*…M,P,MiP.A =U, (3..24) 


其 中 ,矩阵 Pi(k 二 1,…,n 一 1) 为 初等 交换 阵 或 单位 阵 , 它 使 矩 阵 的 第 行 和 第 i 行 
(i 三 &) 交 换 ( 单 位 阵 与 i 二 的 情况 对 应 ). 矩阵 Mi (CR 一 1,…, 2 一 1) 为 第 & 类 消去 矩 
阵 ,U 为 上 三 角 矩 阵 . 这 里 ,将 单位 阵 视 为 一 种 特殊 的 初等 交换 阵 , 它 也 满足 定理 3. 17 


的 前 两 条 性 质 . 
在 方程 (3. 24) 等 号 两 边 同 时 乘 以 M2 得 
P, 1M,;P, »°…MiPA 一 MaiU， (3. 25) 
根据 初等 交换 阵 的 性 质 (2), 有 
P,_1M,: (P， P， ) 了， …MPA4A = MuU, (3. 26) 


上 式 中 ,P,-1M,-;P,-1 等 价 于 将 矩阵 M,-: 的 第 n 一 1 行 和 某 个 1 
第 ii 行 (i-i1 宇 n 一 1) 进 行 交换 ,然后 再 对 结果 和 矩阵 实施 第 
n 一 1 列 和 第 2-: 列 交换 ,由 于 消去 矩阵 的 结构 特点 ( 见 


式 (3. 11)) , 易 知 P, 1M,_;P, 1 仍然 是 第 一 2 类 消去 矩阵 , 记 ki 
人 a 1 
为 页 ，,( 见 图 3-10) .方程 (3. 26) 可 改写 为 Bs 
本 图 3-10 一 种 可 能 的 M,， 
页 ,PP ,MPA = MAU, (3. 27) 
等 号 两 边 再 乘 以 MD ,得 
Pi1P, : M,sP, 3*…Mi1PA = Mr MU. (3. 28) 


类 似 地 ,在 M,-: 和 已 -: 之 间 搬 入 P,_;P,_1P,_1P,_; ,由 于 它 等 于 单位 阵 ,这 将 不 改变 等 式 ， 
得 到 的 方程 为 
(PP, »M, sP, 2sP, 1)P, 1P, 2P, ;1°…MPA = Ma MiiU. (3. 29) 
同样 可 以 证 明 M3 二 PP,_1P,_:M,_s 了 PP,_z 了 ,-1 为 第 n 一 3 类 消去 矩阵 , 它 只 是 在 M, :的 基础 
上 重新 排列 了 对 角 线 下 方 第 n 一 3 列 元 素 的 位 置 . 由 式 (3. 29) 得 
P,P, ;P, sM, 1P, 4°%…MiPiA = M's Mi MU. 
这 个 过 程 一 直 重 复 , 最 后 得 到 
P,_ 1P, »*…PiA = Mi'*…M MAU. (C3: 307 
证 L=Mi! “M2 Ma ,根据 定理 3: 13 ,矩阵 L 为 单位 下 三 角 矩 阵 . 令 时 = 四 5 
则 得 到 
PA = LU. C3. 31) 
式 (3. 31) 为 部 分 主 元 高 斯 消去 法 的 矩阵 形式 ,其 中 ,L 为 单位 下 三 角 阵 ,U 为 上 三 角 阵 ， 
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P 是 一 系列 初等 交换 阵 的 乘积 . 已 是 对 单位 阵 做 行 交 换 得 到 的 矩阵 ,因此 它 的 每 行 及 每 列 
都 只 有 一 个 元 素 为 1, 可 看 成 是 由 单位 阵 经 行 或 列 的 重 排 而 得 到 ,这 种 矩阵 称 为 排列 阵 
(permutation matrix) 或 置换 阵 . 容易 证 明 ,排列 阵 是 一 种 特殊 的 正 交 阵 , 即 P ' 二 PY. 由 于 
排列 阵 的 特殊 性 ,可 用 一 个 长 度 为 的 整 型 数组 表示 阶 排列 阵 了 ,其 第 i 个 单元 存储 P 中 
第 i 行 的 1 所 在 的 列 编号 . 

与 高 斯 消去 过 程 类 似 , 上 述 矩 阵 工 的 元 素 为 2 一 1 个 消去 矩阵 Mi ,… ,M2 ,MD 的 
“合并 ”, 它 的 严格 下 三 角 部 分 元 素 由 乘 数 的 相反 数 构成 . 值得 注意 的 是 ,Mi = 已- Pi 
MiPrni…P,-1(k 二 1,…,n 一 2) ,因此 其 第 k 列 元 素 的 顺序 不 同 于 原始 的 Mi. 它 恰好 反映 了 
经 过 一 系列 后 续 行 交换 的 结果 (参考 图 3-10). 所 以 将 这 些 乘 数 存 于 和 矩阵 对 角 线 下 方 (“ 原 地 
工作 ?方案 ) 时 ,对 整个 矩阵 执行 行 交 换 即 可 . 综合 上 述 讨 论 , 得 到 采用 部 分 主 元 消去 法 的 
LU 分 解 算法 . 


算法 3.9: 部 分 主 元 高 斯 消去 法 进行 LU 分 解 . 
输入 : A,n; 输出 : 4, 一 维 数组 Pp: 
p=[1, 2, 3,°%…, 71]; 
For k= 1 2 5 nn 1 
确定 满足 lax | 二 max|aa | 的 > 的 值 ; 


If sk then 
交换 矩阵 4 的 第 k 行 和 第 ; 行 ; 
交换 pLkj] 与 p[sj]; 

End 

For i=k 二 1, k++2, .…,n 
Ci :一 Ca 
For j=k 十 1 , k 十 2,*… ,nn 

UA Ura 

End 

End 

End 


算法 3.9 中 ,采用 原 地 工作 的 存储 方案 ,矩阵 工 和 避 覆 盖 了 原始 的 矩阵 4. 算法 中 使 用 
数组 p 记录 行 交 换 的 结果 ,交换 矩阵 的 第 & 行 .第 * 行 即 相当 于 交换 p 的 第 个 .第 :个 存储 
单元 的 值 . 最 终 ,数组 p 表示 了 一 种 新 的 行 排列 顺序 ,以 它 调整 单位 阵 即 得 到 和 矩阵 P. 

例 3. 12〈 部 分 主 元 高 斯 消去 过 程 ) : 用 部 分 主 元 高 斯 消去 法 将 矩阵 


1 2 2 
A= | 四 :| 
4 6 4 


进行 LU 分 解 , 求 相应 的 矩阵 LU 和 PP. 
【 解 】 将 矩阵 4 存储 为 二 维 数组 A, 初始化 数组 p= 二 [1, 2, 3], 下 面 说 明 A 和 op 中 数 
据 的 变化 过 程 . 由 于 和 矩阵 A 第 一 列 最 大 元 素 为 4, 所 以 交换 第 一 、 第 二 行 ,得 到 
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相应 地 交换 p 的 元 素 , 得 到 p 二 [2, 1, 3]. 消去 矩阵 A 第 一 列 对 角 线 下 方 的 元 素 , 得 
4 4 2 
A= ' 1 37/2 
0 分 
使 用 的 乘 数 为 mz 三 一 1/4, ma 三 一 1， 以 其 相反 数 填 和 人 数组 A ,得 
4 4 2 
| 业 汪 作 
党 2 
第 二 列 对 角 线 及 其 下 方 的 最 大 元 素 为 2, 因此 交换 第 二 行 、 第 三 行 ,得 到 
4 4 2 
轩 ,， 沟 :| 
17: 二 32 
相应 地 交换 p 的 元 素 ,得 到 p 二 [2, 3, 1]. 消去 矩阵 4 第 二 列 对 角 线 下 方 的 元 素 ,得 


4 4 2 
1/4 0 1/2 
使 用 的 乘 数 为 ms 二 一 1/2,， 以 其 相反 数 填 和 人 数组 A, 得 
4 4 2 
1 2 中 
1/4 1/2 1/2 
二 维 数组 中 同时 存储 了 和 矩阵 工 和 局 ,它们 分 别 是 
1 0 0 4 4 2 
二 | U = ' 2 |. 
1/4 1/2 1 0 0 1/2 
数组 p 表示 对 单位 阵 的 行 重新 排列 的 顺序 , 依 此 重新 排列 单位 阵 ( 取 单位 阵 的 第 p[ 站 行为 
新 矩阵 的 第 i 行 ), 则 得 到 矩阵 P 
0 1 0 
P= ' 0 | 
i 0 :0 


不 难 验 证 ,上 面 求 出 的 LU 和 PP 满足 


, 


A= 


» 


pe 


A= 


Ee 


人 工时 站 儿 名 下 0 0HM 4 2 
有 研一 和 本 本 旨 | 三 1 1 0|lo 2 2| = LU. 
1 0 ol4 6 4 Ea “WW LL 0 1 国 


例 3.12 中 的 矩阵 4 与 例 3.8、 例 3.9 中 的 相同 ,采用 部 分 选 主 元 技术 进行 消去 时 乘 数 

( 即 矩阵 工 的 对 角 线 下 方 元 素 ) 都 不 超过 1, 因 此 得 到 不 同 的 工 和 QU. 从 这 个 例子 看 出 ,部 分 

主 元 的 LU 分 解 比 一 般 的 LU 分 解 增加 了 2 一 1 次 求 最 大 值 的 运算 ,以 及 若干 次 矩阵 行 的 交 
。 88 。 
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换 , 而 在 存储 量 方面 只 增加 了 一 个 长 度 为 的 整 型 数组 . 事实 上 ,和 矩阵 行 的 交换 也 可 不 显 式 
地 进行 ,也 就 是 说 不 交换 二 维 数组 的 元 素 ,而 通过 数组 p 跟踪 新 的 行 次 序 , 将 取 和 矩阵 第 i 行 、 
第 7 列 元 素 的 操作 由 A(i, 站) 变 为 A(p[ 记 , 7) 即 可 . 最 后 ,利用 数组 p 得 到 所 需 的 工 各 . 

例 3. 13( 不 显 式 进行 行 交 换 的 部 分 主 元 消去 过 程 ): 不 显 式 进 行 行 交换 ,用 部 分 主 元 高 
斯 消去 法 分 解 矩 阵 


【 解 】 将 4 存储 为 二 维 数 组 A ,下面 说 明 A 中 数据 的 变化 过 程 . 
第 一 步 消去 过 程 ,p= 二 [2, 1，3j, 乘 数 mz = 二 一 A(p[2j, 1)/A(p[1], 1)= 一 1/4， 
ma 二 一 A(pL3], 1)/A(pL1], 1) 二 一 1, 这 里 利用 pLij 来 索引 行 交 换 后 矩阵 的 第 i 行 ,使 用 
同样 的 方法 更 新 其 他 元 素 ,得 到 
1/4 1 3/2 
‘| 4 4 2|. 


1 2 2 
第 二 步 消去 过 程 ,考察 A(p[L2], 2) 和 A(p[L3], 2), 需 交换 第 二 行 .、 第 三 行 ,得 到 p= 
[2,3, 1j, 乘 数 xs: 一 一 A(pL3], 2)/ACp[L2j, 2) 二 一 1/2, 类 似 地 更 新 A 未 消去 部 分 的 其 


他 元 素 ,得 到 
/4 1/2 1/2 
二 
最 后 ,根据 A 和 op 的 值 , 可 以 得 到 矩阵 工 和 避 . 
1 0 0 4 4 2 
:S| 1 1 2 “人 | 
1 Li2 1 0 & 72 芳 


不 显 式 进 行 矩 阵 的 行 交换 使 得 数据 移动 量 最 小 化 ,在 某 些 情况 下 可 能 使 算法 的 执行 效 
率 得 以 提高 . 

与 不 选 主 元 的 高 斯 消去 法 一 样 ,利用 部 分 主 元 的 LU 分 解 (方程 (3. 31)) 可 方便 地 求解 
线性 方程 组 Ax 一 0, 得 到 

x=A'b=U'L'Pb. 

此 公式 表明 ,根据 数组 p 对 右 端 向 量 5b 进行 重新 排列 后 ,再 执行 算法 3.7 和 算法 3. 2 便 能 得 
到 线性 方程 组 的 解 . 该 方法 不 会 出 现 算法 中 断 , 且 能 有 效 减 小 数值 误差 ,同样 也 适合 于 多 右 
端 线性 方程 组 的 求解 . a: 


3.4.3 ”其 他 选 主 元 技术 A | 2 

除了 部 分 主 元 ,还 可 以 采取 全 主 元 技术 (complete YS 
pivoting) 达 到 防止 算法 中 断 和 减 小 数值 误差 的 目的 .全 GAIN 
主 元 技术 在 未 消去 的 子 矩 阵 所 有 元 素 中 选 一 个 最 大 的 图 311 第 k 步 消去 过 程 的 逢 隆 A 


(如 图 3-11 所 示 ) ,通过 行列 交换 将 其 交换 到 当前 对 角 “其 中 表 影 部 分 为 未 消去 的 子 矩 阵 ) 
。89 。 
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元 的 位 置 . 应 当 注 意 的 是 ,为 保证 解 的 不 变性 , 列 交换 后 应 相应 地 交换 解 向 量 中 的 对 应 分 
量 . 由 于 不 仅 要 做 行 交换 ,也 要 做 列 交换 ,全 主 元 方法 对 应 形式 为 
P4O = LU (3. 32) 
的 LU 分解, 其 中 ,P 和 QQ 分 别 为 对 4 的 行 和 列 进行 重 排 的 排列 阵 . 方程 (3. 32) 的 推导 与 部 
分 主 元 技术 中 的 有 关内 容 非常 类 似 ,并 且 对 算法 3. 9 稍 做 修改 (增加 一 个 记录 列 交换 的 数组 
qd) 就 能 得 到 全 主 元 消去 过 程 的 算法 ,这 里 不 再 歼 述 . 
根据 公式 (3. 32) ,方程 (3.10) 的 解 为 
x= A'b= QU LPb. 
因此 ,使 用 全 主 元 技术 求解 线性 方程 组 时 , 比 部 分 主 元 方法 多 一 步 解 的 重 排 : x 一 Qz, 其 中 ， 
z 二 U1L !Pb. 全 主 元 方法 虽然 理论 上 极为 稳定 ,数值 误差 更 小 ,但 与 部 分 主 元 方法 相 比 ， 
寻找 主 元 的 工作 量 大 大 增加 . 因此 在 实际 应 用 中 , 主要 还 是 使 用 部 分 主 元 消去 法 求解 线性 
方程 组 . 
部 分 主 元 技术 还 可 用 于 高 斯 - 约 当 消去 法 ,并 且 由 此 可 得 到 数值 稳定 的 矩阵 求 逆 算 法 . 
相 比 不 选 主 元 的 方法 ,部 分 主 元 技术 只 是 对 矩阵 A 增加 一 些 初等 行 交 换 变 换 , 因此 
方程 (3. 10) 依 然 成 立 , 只 需 将 带 行 交换 的 高 斯 - 约 当 消去 操作 依次 作用 于 单位 阵 , 当 和 矩阵 A 
被 约 化 为 单位 阵 时 ,原来 的 单位 阵 即 变 为 4 :. 采用 全 主 元 进行 矩阵 求 逆 的 算法 要 稍微 复 
杂 一 些 , 假 设 全 主 元 高 斯 - 约 当 消去 法 将 4 约 化 为 单位 阵 的 矩阵 方程 为 
EAQ = 1, 
其 中 ,E 代表 一 系列 初等 行 变换 ,排列 阵 8 代表 所 实施 的 所 有 列 交换 , 则 
4- 一 OFT， 
因此 ,将 一 系列 行 变换 作用 于 单位 阵 , 最 后 还 要 对 结果 矩阵 的 行进 行 重 排 才 得 到 A“!. 值得 
注意 的 是 ,在 高 斯 - 约 当 消去 过 程 中 ,无 论 采 用 哪 种 选 主 元 技术 ,其 乘 数 的 绝对 值 仍 可 能 超 
过 1. 对 有 关 算 法 感 兴趣 的 读者 可 参考 文献 [9]. 
算法 3.9 只 是 生成 数值 稳定 的 LU 分 解 (PA = 二 LU) 的 一 种 算法 ,将 直接 三 角 分 解 
算法 3.6 加 以 改造 ,也 可 得 到 选 主 元 直接 三 角 分 解 算法 (参见 文献 [8]). 它们 在 数学 上 都 是 
等 价 的 . 
选 主 元 是 线性 方程 组 直接 解法 中 很 重要 的 技术 ,对 一 般 的 问题 ,只 有 选 主 元 才能 得 到 可 
行 ,准确 的 算法 . 但 对 某 些 系数 矩阵 具有 一 定 特点 的 问题 ,可 能 不 需要 选 主 元 , 例如 ,对 称 
正定 矩阵 满足 定理 3. 15 的 条 件 , 因 此 不 选 主 元 的 LU 分 解 也 不 会 中 断 ,更 详细 的 分 析 还 说 
明 它 是 数值 稳定 的 . 类 似 的 情况 还 有 对 角 占 优 和 矩阵 ,关于 它们 ,将 在 3. 5 节 讨论 . 


3.4.4 算法 的 稳定 性 


算法 的 稳定 性 反映 计算 过 程 中 的 误差 对 结果 的 影响 ,对 于 线性 方程 组 的 直接 解法 来 说 ， 
计算 中 的 误差 主要 是 舍 和 误差. 1960 年 左右 , 威 尔 金 森 (Wilkinson) 提 出 “向 后 误差 分 析 
法 ”, 对 高 斯 消去 法 及 其 变种 的 算法 稳定 性 进行 了 详细 的 分 析 ,参考 文 献 L10]. 

假设 求解 方程 Ax 一 得 到 解 为 区 ,由 于 计算 过 程 中 的 舍 入 误差 , 它 不 等 于 精确 解 x， 使 
用 向 后 误差 分 析 法 ,将 立 看 成 是 一 个 系数 矩阵 扰动 了 的 方程 的 精确 解 , 即 

(A 二 TAA) = Db, 
则 扰动 量 A4 便 反 映 了 舍 人 误差 的 影响 , ‖ A4 i /1 4 1 的 大 小 说 明 方程 求解 算法 的 稳定 性 . 
。 90 。 
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对 各 种 高 斯 消去 及 LU 分 解 算法 的 分 析 表 明 , 向 后 误差 大 体 上 满足 如 下 估计 式 ( 参 见 文献 [1]) 


| A4 | - 
141. 


其 中 ,po 称 为 增长 因子 ,是 消去 过 程 中 矩阵 4% 中 最 大 元 素 除 以 矩阵 A 中 最 大 元 素 得 到 的 比值 ， 
n 为 矩阵 的 阶 数 ,emer 为 机 器 精度 (对 IEEE 双 精 度 浮 点 数 , 约 为 10 5). 在 实际 应 用 中 ,也 可 将 
增长 因子 o 看 成 是 矩阵 U 最 大 元 素 与 矩阵 4 最 大 元 素 的 比值 ,这 不 影响 稳定 性 的 分 析 . 

公式 (3.33) 是 对 向 后 误差 上 限 的 估计 ,其 中 ,增长 因子 o 既 与 具体 的 矩阵 4 有关, 也 与 求 
解 算法 有 关 . 对 不 同 的 算法 ,可 分 析出 矩阵 4 变化 时 o 的 上 限 , 由 此 看 出 算法 稳定 性 的 不 同 . 

对 于 不 选 主 元 的 高 斯 消去 法 (以 及 LU 分 解 ) ,o 可 以 任意 大 ,因此 算法 是 不 稳定 的 . 对 
于 采用 部 分 主 元 的 LU 分 解 , 可 证 明 o 过 2”! ,而 且 大 量 的 实践 表明 ,po 的 值 通常 很 小 . 因此 ， 
一 般 认 为 部 分 主 元 高 斯 消去 法 是 稳定 的 . 对 于 全 主 元 高 斯 消去 法 (以 及 相应 的 LU 分 解 )， 
可 证 明 o 的 上 限 比 部 分 主 元 的 情况 更 小 ,其 算法 的 稳定 性 更 好 . 


3.5 对称 正定 矩阵 与 带 状 箱 阵 的 解法 


针对 特殊 情况 的 线性 方程 组 ,高 斯 消去 法 还 有 一 些 变 种 ,本 节 介 绍 比 较 常用 的 对 称 正定 
和 矩阵 的 Cholesky( 楚 列 斯 基 ) 分 解 和 带 状 线性 方程 组 的 解法 . 
3.5.1 对 称 正定 矩阵 的 Cholesky 分 解 

对 称 和 矩阵 4 的 元 素 关于 对 角 线 对 称 (o = 必 ) ,因此 可 节省 将 近 一 半 的 存储 空间 .在 求 
解 系数 矩阵 为 对 称 和 矩阵 的 线性 方程 组 时 ,是 否 也 能 利用 这 种 对 称 性 减少 计算 量 呢 ? 


1. 对 称 和 矩阵 的 LDL" 分 解 
对 矩阵 4A, 将 其 LU 分 解 中 的 UU 矩 阵 写成 对 角 阵 乘 以 单位 上 三 角 和 矩阵 的 形式 


委 pnemach» (3359 


U11 1 az/ Un /un 
U= Ne UW 
Um ll 
其 中 ,U 为 单位 上 三 角 阵 ,D 为 对 角 阵 ,因此 得 到 
A = LDU,. (3.34) 
若 4 为 对 称 和 矩阵 , 则 
4 一 4 全 三 1 ， (3.35) 
其 中 ,Us 为 单位 下 三 角 阵 ,DL 为 上 三 角 阵 ,根据 LU 分 解 的 唯一 性 ,U6 二 工 , 方 程 (3. 35) 变 为 
起 = DEL’. 


结合 定理 3. 14 和 定理 3. 15 ,得 到 如 下 定理 . 
定理 3.18: 设 A 为 n 阶 对 称 和 矩阵 , 且 A 的 顺序 主子 式 Di 关 0,(k 二 1,…,n 一 1), 则 A 可 
以 唯一 地 分 解 为 
4 一 LDLT， (3. 36) 
其 中 ,为 单位 下 三 角 阵 ,D 为 对 角 阵 . 
注意 : 当 和 矩阵 4 奇异 时 DD 的 最 后 一 个 对 角 元 素 为 零 . 
。91 。 
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2. Cholesky 分 解 

设 矩 阵 4 为 对 称 正定 和 矩阵 ,显然 满足 定理 3. 18 的 条 件 ,可 分 解 为 LDLT 的 形式 . 此 外 ， 
易 知 对 角 阵 D 的 对 角 线 元 素 ui; 记 0(i 王 1,…,n) ,这 是 因为 Vx 关 0, 设 x 二 L'y, 由 LL 的 非 奇 
异性 可 推出 y 取 0, 则 x Dx 二 y LDL'y 二 y Ay 记 0,; 因 此 D 为 对 称 正定 矩阵 ,其 对 角 线 元 素 
一 定 大 于 0. 用 D* 表 示 对 角 阵 


则 方程 (3. 36) 变 为 
A = LDiDILT = LL!, 

其 中 ,Li 二 LD? 为 下 三 角 算 阵 , 且 对 角 线 元 素 为 Vi ，,… ,Vi , 均 大 于 0. 依据 上 述 分 析 , 得 
到 下 面 的 Cholesky 分 解 定 理 . 

定理 3.19: 设 A 为 实 对 称 正定 矩阵 , 则 存在 非 奇 异 下 三 角 阵 LL, 使 得 A 二 LL" ,其 中 ， 
L 的 对 角 线 元 素 均 大 于 零 , 这 种 分 解 称 为 Cholesky 分 解 (Cholesky decomposition), 且 满足 
上 述 条 件 的 分 解 是 唯一 的 . 

Cholesky 分 解 也 常 写成 A 二 RTR 的 形式 ,其 中 ,R 为 上 三 角 和 矩阵 . 

3. Cholesky 分 解 算法 

上 述 推导 过 程 实际 上 给 出 了 一 种 计算 Cholesky 分 解 的 方法 . 它 首先 对 A 做 LU 分 解 ， 
再 求 对 角 阵 D 和 Cholesky 分 解 因 子 L. 设 A 的 LU 分 解 写成 4==LoU6 二 LoDI4 的 形式 , 则 


L=L,Dt. 这 种 方法 并 未 利用 徐 阵 的 对 称 性 从 而 减 小 计算 量 , 仍然 需要 大 约 二 灵 次 乘除 法 


和 差不多 的 加 减法 运算 . 下 面 介绍 更 有 效 的 Cholesky 分 解 算 法 ,也 称 为 平方 根 法 ,我 们 基 
于 直接 三 角 分 解 的 思想 推导 . 
将 Cholesky 分 解 的 等 式 A 二 LL' 写成 如 下 形式 : 


QI dl2 al La la ha 
U21 U22 U2n lal lz2 lz2 Lz 

= 9 
Un dn Um by Ui es la 


利用 和 矩 阵 乘 法 运算 规则 , 按 一 定 顺序 逐个 匹配 等 号 两 边 的 矩 阵 元 素 , 可 以 逐一 解 出 未 知 量 . 
下 面 分 4 个 步骤 介绍 计算 过 程 . 

(了 求 轴 i: 

考虑 aa 的 计算 ,aa = 人 之 1= Van. 

《25 求 而 总 笃 2 

考虑 oa 的 计算 ,aa 一 iv 之 l=aa/ln. 

(3) 假设 工 和 矩阵 中 前 7 一 1 列 都 已 求 出 , 即 总 Cs 一 1 一 17 都 已 知 , 考 虑 必 的 计算 ， 


了 
a5 = DA (3. 37) 
k=1 
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其 中 ,等 号 右边 的 量 都 已 知 . 
(4) 求 工 矩阵 中 第 7 列 的 剩余 元 素 , 即 i; Ciz 二 7) ,考虑 i 的 计算 ， 


n n j 普 1 
w= DA = 
k=1 k=1 k=1 k=1 


其 中 ,等 号 右边 的 量 都 已 知 . 
对 7 二 2,…,n, 重复 执行 上 面 的 (3)、(4) 步 , 则 得 到 下 面 的 Cholesky 分 解 算法 . 


算法 3. 10: 对 称 正 定 矩 阵 的 Cholesky 分 解 算法 . 
输入 : A, nn; 输出 : A. 
For j=1, 2, *…, Nn 

For k=1, 2, ***, j—1 


= = 
Qj adi Qn 


End 
FI 
Ce VI /a 3 
k=1 
For ;一 ) 十 1,， j+2， 
Eo e102 天 
Uj Ta dnd; 
End 
1 
ay := ay /a 位 二 (ww mta) fs) 
k=1 
End 


算法 3. 10 仅 用 到 4 的 下 三 角 部 分 元 素 , 因 此 A 的 上 三 角 部 分 不 必 存 储 . 并 且 ,算法 得 
ee L 和 矩阵 存放 在 原始 矩阵 A 的 位 置 上 . 经 过 简单 的 分 析 发 现 , 这 个 算法 仅 需 大 约 


Fe 次 乘除 法 和 差不多 的 加 减法 运算 (忽略 n 次 求 平方 根 运算 ) ,计算 量 是 LU 分 解 算法 的 


一 半 . 应 当 说 明 ,要 发 挥 存 储 上 的 优势 , 需 将 对 称 和 矩阵 的 下 三 角 部 分 按 一 维 数 组 或 其 他 压缩 
格式 存储 ( 见 3.6 节 ), 这 样 比 用 二 维 数 组 存储 增加 了 一 些 存 取 抢 阵 元 素 的 额外 开销 . 因此 ， 
实用 的 程序 常 提 供 压 缩 存 储 和 标准 二 维 数组 两 种 存储 方式 ,让 用 户 自行 选择 . 

例 3.14(Cholesky 分 解 ) : 计算 下 面 这 个 对 称 正定 矩阵 的 Cholesky 分 解 . 


9 = 
A= 1 3 
= 5 


【 解 】 根据 算法 3. 10 进行 计算 ,由 于 只 与 矩阵 的 下 三 角 部 分 元 素 有 关 , 下 面 只 列 出 矩 
阵 下 三 角 部 分 的 变化 情况 . 首先 将 第 一 列 除 以 第 一 个 对 角 元 的 平方 根 ,V5 守 2. 2361 ,得 
. 93 . 
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一 0. 4472 3 0 
一 0.4472 一 1 5 
计算 第 二 个 对 角 元 ,az = Vazs 一 a81 二 V3 一 0. 4472 <z1. 6733. 注意 ,这 里 的 aj 表示 改 
变 了 的 抢 阵 A 的 元 素 , 下 同 . 然后 计算 第 二 列 余下 部 分 ,得 
2..2361 0 | 


2. 2361 0 | 


一 0.4472 W6733. 0 

一 0.4472 一 0.7171 5 

计算 第 三 个 对 角 元 ,ass = Vass 一 吗 一 型 一 V5 一 0.44725 一 0.71715 :2. 0702， 得 到 所 要 的 
矩阵 工 为 


S201 0 0 
一 0.4472 1.6733 0 
472 —07171 &0708 画 

若 要 避免 算法 3. 10 中 的 开 方 运算 ,可 根据 LDL 分 解 的 方程 (3. 36) 进 行 推导 ,得 到 的 
算法 称 为 改进 的 平方 根 法 , 它 与 算法 3. 10 具有 相同 的 计算 复杂 度 . 还 应 说 明 ,根据 
定理 3. 18 ,改进 的 平方 根 法 适用 于 任意 对 称 和 矩阵 ,除非 出 现 主 元 为 零 的 情况 . 因此 ,在 用 它 
求解 一 般 的 对 称 线性 方程 组 时 ,要 进行 选 主 元 ,而 为 了 保证 对 称 性 需 做 相同 的 行 、 列 交换 , 即 
使 这 样 仍然 不 能 完全 避免 零 主 元 对 于 一 般 的 对 称 线性 方程 组 , 需 使 用 更 为 复杂 的 稳定 求 
解 算法 , 感 兴趣 的 读者 可 参考 文献 [1]. 

4. 算法 稳定 性 与 Cholesky 分 解 的 应 用 

对 于 对 称 正定 矩阵 ,算法 3. 10 不 会 中 断 ,不 像 一 般 的 高 斯 消去 法 那样 必须 考虑 选 主 元 
的 问题 . 下 面 分 析 Cholesky 分 解 算法 的 稳定 性 . 为 了 方便 ,讨论 根据 LU 分 解 得 到 
Cholesky 分 解 算法 的 数值 稳定 性 , 即 根据 公式 (3. 33) 分 析 对 称 正 定 和 矩阵 LU 分 解 的 增长 因 
子 o 的 上 限 . 将 对 称 正 定 矩 阵 A 进行 LU 分 解 和 LDL" 分 解 : 

A= LU = LDLI, C3. 38Y 
其 中 ,L 表示 单位 下 三 角 阵 . 若 4 的 Cholesky 分 解 为 4 一 LELT , 则 工 一 LI ,其 中 ,D+ 的 对 
角 线 元 素 与 工 的 相同 . 根据 公式 (3. 38) 得 
U=DLI = UT=LD=1D1. 


| 


因此 ,增长 因子 
max | ws | max | (U™); | max| (LD3 | 
本 二 max | a | max | az | max | as | 
由 于 对 角 阵 D3 的 对 角 线 元 素 与 的 相同 ,LD# 的 第 i 行 第 j 列 元 素 为 4;1; ,因此 
max | ll; | maxls 
po 一 - 和 过 (3. 39) 


max|ays| ~ max|a; | 
式 (3.39) 中 最 后 一 个 不 等 式 是 根据 式 (3. 37) 得 出 的 . 式 (3. 39) 说 明 , 增 长 因子 p 的 上 限 为 
1, 即 高 斯 消去 过 程 中 矩阵 元 素数 值 不 增 大 .所 以 对 称 正定 矩阵 的 LU 分 解 和 Cholesky 分 
解 都 是 数值 稳定 的 . 
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有 了 和 矩阵 A 的 Cholesky 分 解 ,求解 4x 一 只 要 依次 执行 前 代 过 程 和 回 代 过 程 ( 先 求解 
Ly 二 b, 青 求解 LTx 二 y). 此 外 ,根据 算法 3. 10 也 很 容易 判断 一 个 对 称 矩 阵 是 否 正 定 . 如 果 
算法 3. 10 发 生 中 断 ( 被 开 方 的 数 小 于 或 等 于 零 ) , 则 对 称 和 矩阵 4 一 定 不 是 正定 的 ; 反 过 来 ， 
如 果 算 法 3. 10 顺利 执行 ,并 且 最 后 的 ww 和 0, 则 对 称 和 矩阵 4 一 定 正定 . 

下 面 小 结 一 下 Cholesky 分 解 以 及 相应 的 算法 . 

(1) 对 于 对 称 正 定 矩 阵 , 可 做 Cholesky 分 解 . 

(2) 相应 算法 的 存储 量 、 计 算 量 都 为 一 般 的 LU 分 解 的 一 半 . 

(3) 算法 简单 而 且 稳 定 , 不 需要 考虑 选 主 元 问题 . 


3.5.2 带 状 线性 方程 组 的 解法 
定义 3.3 中 介绍 了 三 对 角 和 矩阵 的 概念 ,将 它 加 以 推广 便 得 到 带 状 矩阵 (band matrix). 


8 定义 3. 13: 对 于 阶 方 阵 4=(ap ),x,，* 若 当 

攻守 ] 4 一 诈 >8 时 ,ar=0, 且 至 少 有 一 个 & 值 , 使 

Sy x ap 天 0 或 axa4g 关 0 成 立 , 则 称 和 矩阵 4 为 带 状 短 
x x x 阵 ,2B 十 1 为 其 带宽 ,B 为 半 带 宽 . 

x WW x 三 对 角 抢 阵 是 带 状 矩阵 的 特例 ,其 半 带 宽 8 二 

x x x x x 1. 图 3-12 也 显示 了 一 个 带 状 矩 阵 的 例子 ,其 8= 3. 

x 2 Xx| 带 状 和 矩阵 中 的 非 零 元 仅 存在 于 主 对 角 线 及 其 两 侧 

* 入 的 若干 副 对 角 线 上 ,其 他 位 置 的 元 素 均 为 零 . 易 

: > , 2 知 , 对 带 状 矩阵 作 LU 分 解 ,其 LU 矩阵 非 零 元 仍 


然 分 布 在 原始 带宽 范围 内 ,利用 这 一 点 可 设计 出 高 
效率 的 方程 求解 算法 . 下 面 先 看 三 对 角 和 矩阵 的 


”图 3-12 ”一 个 带 状 矩阵 的 威 尔 金森 图 


LU 分 解 算法 ,假设 不 选 主 元 . 
为 了 节约 存储 空间 ,一 般 用 三 个 向 量 a、b、c 表示 三 对 角 和 矩阵 A , 设 
bl a 
az pz C2 
A= A ， (3. 40) 
[| 
a Lm 
对 它 进行 LU 分 解 的 结果 为 
1 di ci 
m2 1 d,» cz 
L= =“ ，U= es (3.41) 
M1 i! 1 
7 d; 


根据 高 斯 消去 过 程 ,很 容易 证 明和 矩阵 U 的 副 对 角 线 元 素 与 4 的 相同 . 因此 只 需 计算 待定 系 
数 m; 、d; ,类似 于 直接 LU 分 解 算法 的 推导 ,得 到 如 下 算法 . 


。05 。 
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算法 3.11: 三 对 角 矩 阵 的 不 选 主 元 LU 分 解 . 
输入 : n, 向 量 a,b,c; 输出 : 向 量 m,d,c. 
di :=01; 
For ;一 2，3，… ,7 
mi; :一 Qi/ di ; 
di :=0 TCiis 


End 


算法 3.11 只 有 O(n) 的 计算 复杂 度 ?, 远 远 低 于 一 般 LU 分 解 的 复杂 度 O(m*). 容易 看 
出 ,前 代 和 回 代 过 程 的 计算 复杂 度 也 是 O(n) ,因此 求解 三 对 角 线性 方程 组 的 效率 很 高 . 
不 经 过 LU 分 解 这 步 , 也 可 直接 使 用 不 选 主 元 的 高 斯 消去 法 求解 三 对 角 线性 方程 (类 似 
于 在 一 般 情 况 下 使 用 算法 3.1 和 算法 3.2 的 组 合 ). 下 面 针 对 方程 
Ax = f， (3. 42) 
其 中 ,三 对 角 和 矩阵 A 如 式 (3. 40) 所 示 ,给 出 求解 算法 . 


算法 3. 12: 三 对 角 线性 方程 组 的 “追赶 法 ”解法 . 
输入 : n, 向 量 a,b,c,f; 输出: x. 
For i=2, 3, »%, 
ni /Os 
b; :=0;—mici1; 
VG 
End 
ee Oe 
For i=n— 1,n 2, **, 1 
Zi := (fi— czit1) /bi; 
End 


在 上 述 “ 追 赶 法 ”算法 中 ,第 一 个 For 循环 既 包 括 了 LU 分 解 的 过 程 (采用 “ 原 地 工作 ” 存 
储 方式 ) ,又 包括 了 对 右 端 项 的 更 新 . 与 式 (3. 41) 对 比 ,这 里 的 数组 b 成 为 了 式 (3.41) 中 的 
数组 d, 这 个 依次 计算 出 di ,4d;,…,d, 的 过 程 可 形象 地 称 为 “人 妃 ” 的 过 程 . 算法 3. 12 中 第 二 
个 For 循环 依次 算出 xz, ,zx,-1，… ,x1, 称 为 “ 赶 " 的 过 程 . 

将 算法 3. 11 和 算法 3. 12 加 以 推广 , 即 修改 高 斯 消去 过 程 中 循环 的 取 值 范 围 ,可 得 到 针 
对 一 般 带 状 矩阵 的 LU 分 解 算 法 以 及 追赶 法 求解 算法 ,其 时 间 复 杂 度 为 O(B*n) ,空间 复杂 
度 为 0(Bn). 因此 , 当 Bn 时 ,其 求解 效率 远 高 于 一 般 的 情况 . 

上 面 讨 论 的 带 状 矩阵 分 解 算 法 都 没 选 主 元 ,算法 稳定 性 和 可 靠 性 可 能 会 存在 问题 . 若 
采用 部 分 主 元 技术 ,分 解 三 对 角 和 矩阵 和 一 般 带 状 矩阵 的 算法 要 复杂 一 些 ,得 到 的 工 和 
U 矩阵 非 零 元 位 置 将 超出 原始 的 带宽 范围 (但 带宽 的 增长 不 会 超过 两 倍 ) ,因此 在 存储 矩阵 


@ 关于 O(。) 记 号 的 含义 见 附录 A. 
二 本 
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的 数据 结构 上 要 预 留 相应 的 存储 空间 . 即便 如 此 ,对 于 原始 的 半 带 宽 8<n 的 情况 , 选 主 元 
的 带 状 方程 求解 算法 仍 具有 很 高 的 效率 . 

由 实际 问题 产生 的 带 状 方程 组 ,其 系数 矩阵 常常 对 称 正定 或 者 对 角 占 优 , 因 此 不 选 主 元 
也 能 达到 数值 稳定 的 要 求 . 3. 5. 1 节 已 经 讨论 了 对 称 正定 的 情况 ,下 面 介 绍 对 角 占 优 矩 阵 
的 概念 ,以 及 对 它 进行 LU 分 解 的 稳定 性 的 结论 . 

定义 3.14: 对 于 nn 阶 方 阵 A 三 (a5),xs, 若 


GD 1a | 之 六 1 10=1,2,…,), 且 至 少 有 一 个 不 等 式 严格 成 立 , 则 矩阵 入 接生 
对 角 吉 优 ，。 

GD) | mi | > 六 | 1 = 1,2,…,oD, 且 至 少 有 一 个 不 等 式 严格 成 立 , 风 矩阵 人 按 
列 对 朋 占 做， 


(3) [as | 全 > | 1G=1,2,…,7), 则 矩阵 4 按 行 严格 对 角 占 优 ， 
j=1jzi 

(4 | | 二 > > 1109=1,2,…,), 则 矩阵 4 按 列 严格 对 角 占 优 . 

i= ij 

一 般 , 将 按 行 或 按 列 对 角 占 优 的 矩阵 都 称 为 对 角 占 优 矮 阵 (diagonally dominant 
matrix) ,也 称 弱 对 角 占 优 矩 阵 ,而 将 按 行 或 按 列 严格 对 角 占 优 和 矩阵 都 称 为 严格 对 角 占 优 逢 
阵 (strictly diagonally dominant matrix). 显然 严格 对 角 占 优 和 矩阵 一 定 也 是 对 角 占 优 和 矩阵 ， 

下 面 给 出 与 对 角 占 优 和 矩阵 的 LU 分 解 有 关 的 一 个 定理 ,其 证 明 留 给 读者 思考 ,或 参考 文 
献 [21]. 

定理 3.20: 设 n 阶 方 阵 A 为 按 列 严格 对 角 占 优 和 矩阵 , 则 对 4 做 LU 分 解 不 需要 (部 分 ) 
选 主 元 , 即 对 其 做 不 选 主 元 的 LU 分 解 是 稳定 的 . 

考虑 到 做 矩阵 的 克 劳 特 (Crout) LU 分 解 时 ,为 保证 稳定 性 一 般 需 做 行 选 主 元 . 与 定 
理 3. 20 对 称 的 一 个 结论 是 ,对 按 行 严格 对 角 占 优 的 矩阵 执行 克 劳 特 LU 分 解 不 需要 选 主 
元 .因此 ,只 要 矩阵 是 严格 对 角 占 优 的 ,不 选 主 元 的 LU 分 解 都 是 稳定 的 . 

最 后 说 明 一 点 ,对 带 状 矩阵 4 做 LU 分 解 ,结果 和 抢 阵 荆 和 的 非 零 元 分 布 在 4 的 原始 
带宽 范围 之 内 ,因此 在 分 解 和 回 代 求 解 过 程 中 可 得 出 高 效率 的 算法 . 然而 矩阵 的 逆 一 般 不 
保留 原始 矩阵 的 稀疏 特点 ,A “、U '、L 往往 都 为 稠密 矩阵 ,对 带 状 矩阵 (非常 小 的 半 带 
宽 8) 求 逆 仍 然 有 至 少 OG ) 的 计算 复杂 度 2. 这 再 次 说 明了 实际 计算 中 要 避免 计算 矩阵 的 
逆 ,不 能 按照 公式 x 二 A 2 的 表面 含义 来 计算 . 


应 用 实例 : 稳 态 电路 的 求解 


1. 问题 背景 
在 科学 与 工程 计算 中 ,机 械 结 构 、 大 型 输电 网 络 、 管 道 网 络 、 经 济 规划 、 种 群 繁殖 、 集 成 电 
路 等 很 多 问题 最 终 都 要 转化 为 求解 线性 方程 组 . 本章 和 第 4 章 的 两 个 应 用 实例 分 别 介 绍 稳 


@ ”对 于 带 状 和 矩阵 快速 求 逆 的 算法 参见 文献 [31]. 
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态 电路 和 析 架 结构 分 析 中 的 线性 方程 组 求解 问题 . 

稳 态 电路 是 指 电 路 中 电流 、 电 压 处 于 恒定 状态 
所 对 应 的 电路 ,也 称 为 直流 电路 . 求解 稳 态 电路 是 求 
解 动态 电路 响应 、 进 行 瞬时 分 析 的 基础 . 稳 态 电路 中 
起 主要 作用 的 是 电阻 元 件 , 以 及 稳 恒 电压 源 、 电 流 源 
等 . 在 实际 应 用 的 电网 传输 、 集 成 电路 供电 网 络 分 析 
等 问题 中 , 稳 态 电路 求解 都 是 很 重要 的 一 步 . 

图 3-13 显示 了 一 个 小 的 电阻 网 络 的 电路 图 ,其 中 
包含 8 个 电阻 和 一 个 稳 恒 电压 源 . 求解 这 个 稳 态 电 
路 ,就 需要 计算 电路 节点 的 电压 ,以 及 每 条 支 路 上 的 电 
流 . 有 多 种 方法 构造 线性 方程 组 来 描述 稳 态 电路 ,分 为 节点 (电压 ) 分 析 法 和 回路 电流 法 两 类 ， 
节点 分 析 法 是 以 节点 电压 作为 方程 组 的 未 知 量 来 构造 方程 ,求解 之 后 再 根据 欧姆 定律 求 出 支 
路 电流 . 在 图 3-13 所 示 的 电路 中 ,有 5 个 节点 . 回路 电流 法 对 每 个 回路 定义 沿 顺 时 针 方 向 的 
回路 电流 ,如 图 3-13 中 的 电流 入 , 记 ,is ,i 入， 然后 以 它们 为 未 知 量 建立 线性 方程 组 ,求解 之 后 计 
算 节点 电压 和 支 路 电流 . 下 面 主要 介绍 节点 分 析 法 列 方程 的 原理 和 方程 的 求解 . 

2. 节点 分 析 方程 的 建立 与 求解 

节点 分 析 法 (nodal analysis) 以 电路 中 节点 的 电压 为 变量 ,根据 欧姆 定律 可 得 到 支 路 电 
流 的 表达 式 : 


图 3-13 一 个 电阻 网 络 电路 


其 中 ,i 为 从 节点 上 流 到 节点 j 的 支 路 电流 ,rh 为 支 路 电阻 定义 电阻 的 倒数 为 电导 
(conductance) ,gw 二 1/ry ,; 则 上 述 方程 可 改写 为 
iy = gy (Ve — Vj). 
基 泵 霍 夫 电流 定律 (Kirchhoff?s current law) 指 出 ,在 每 个 节点 流出 的 电流 之 和 为 零 ， 
例如 ,对 图 3-13 中 的 节点 1， 
iz 十 i 十 iu 一 0. 
结合 欧姆 定律 的 电 时 形式 ,上 述 方程 可 写 为 
sl (一 四 ) 十 gu 一 vs) 十 guCu 一 ww) 一 0. 
对 其 他 节点 ,也 可 按 上 述 方法 类 似 地 写 出 以 节点 电压 为 变量 的 方程 .应 注意 的 是 ,为 保证 解 
唯一 , 需 设置 一 个 “地 ”节点 (其 电压 为 0) ,对 它 不 需要 列 基 尔 霍 夫 电流 定律 方程 对 图 3-13 


所 示 电 路 , 设 节点 5 为 “地 ”节点 , 则 得 到 下 面 的 节点 分 析 方 程 : 

8S12 十 Sis 十 gu 812 813 ~ 814 Wh 
一 g12 B12 十 gz3 十 825 一 823 0 vz 
813 823 B13 十 gzs 十 g34 十 8s5 一 B34 vs 
~ 814 0 ~ 834 gu 十 ga + gasd [Lu 

0 

加 0 

= ye 二 
0 
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其 中 ,mw 是 电压 源 的 电压 . 
设 上 述 节 点 分 析 方程 的 矩阵 形式 为 
Gv 一 c， 

系数 矩阵 G 称 为 电导 给 阵 . 从 上 述 例 子 可 以 看 出 G 是 对 称 和 矩阵 ,并 且 对 角 占 优 ,因此 做 LU 
分 解 不 需要 选 主 元 . 事实 上 ,假设 v 为 任意 设 定 的 节点 电压 向 量 , 可 以 证 明 vTGw 为 电路 的 

总 功率 ,因此 矩阵 G 是 对 称 正定 的 . 对 于 节点 数目 不 太 多 的 情况 ,求解 节点 分 析 方 程 可 以 采 
用 Cholesky 分 解 算法 . 若 节 点 数目 很 多 (例如 大 于 10 000) ,将 可 以 利用 G 的 稀疏 性 ,采用 
针对 大 型 稀 跤 矩阵 的 直接 解法 或 第 4 章 介 绍 的 选 代 解 法 进行 求解 . 


3.6 ”有 关 稀 踊 线 性 方程 组 的 实用 技术 


实际 问题 中 的 线性 方程 组 往往 规模 很 大 ,系数 矩阵 常 为 稀 玻 答 阵 ,本 节 简 单 介绍 稀 琉 矩 
阵 的 有 关 知 识 , 以 及 MATLAB 软件 中 的 “ 反 斜 线 ? 求 解 器 . 


3.6.1 稀疏 矩阵 基本 概念 


稀 政 算 阵 (sparse matrix) 一 般 指 存在 大 量 零 元 素 的 矩阵 . 实际 应 用 中 ,稀疏 矩阵 也 
包含 采用 特殊 存储 结构 的 含义 , 即 通过 不 存储 矩阵 中 的 零 元 素 节 省 和 矩阵 的 存储 空间 . 
反 过 来 ,采用 常规 的 二 维 数组 存储 的 矩阵 ,即便 其 中 有 一 些 零 元 素 , 从 数值 计算 的 角度 
看 也 不 是 稀 玻 和 矩阵. 与 稀 玻 和 矩阵 相对 的 概念 是 稠密 答 阵 (dense matrix) ,或 称 为 满 矩 阵 
(full matrix) . 

按照 稀 玻 矩阵 中 非 零 元 的 分 布 特点 可 将 其 分 为 两 类 : 一 类 是 非 零 元 分 布 比较 有 规律 的 
结构 化 稀 叭 矩阵 ; 男 一 类 是 非 零 元 分 布 无 明显 规律 的 非 结 构 化 稀 玖 矩阵 ，3. 5. 2 节 介 绍 的 
带 状 矩 阵 就 是 结构 化 稀 玻 矩阵. 非 零 元 的 分 布 情况 既 影 响 稀 
玖 矩阵 的 存储 ,又 影响 执行 相关 运算 的 计算 效率 ,因此 需要 对 
它 有 一 定 的 了 解 . 前 面 介绍 的 威 尔 金 森 图 是 稀 玲 矩阵 非 零 元 
分 布 的 一 种 形象 表示 ,更 一 般 的 非 零 元 分 布 图 采用 点 状 或 阴影 
区 域 表示 和 矩阵 非 零 元 ,如 图 3-14 所 示 . 

假设 稀 跑 矩阵 AE R"** 中 非 零 元 的 数目 为 Ns, 则 比值 
Ns 


2 


n 图 3-14 一 个 2000 阶 稀疏 矩 
常 被 称 为 稀 玻 矩阵 的 稀疏 度 (sparsity). 显然 ,r, 越 接近 1, 说 阵 的 非 零 元 分 布 图 


明和 矩阵 越 稀 蚊 . 
处 理 稀 玖 矩阵 的 基本 技巧 是 不 存储 零 元 素 ,同时 避免 与 零 元 素 做 加 、 减 、 乘 \ 除 运算 . 
例 3. 15( 稀 朴 矩 阵 的 运算 ) : 设 有 两 个 稀 跑 矩阵 A,BER”" ,它们 的 非 零 元 数目 分 别 为 
nnz(A) 和 nnz(B) , 则 计算 A 十 B 需要 O(nnz(A) 十 nnz(B)) 次 操作 ,因为 只 需 遍 历 所 有 非 零 
元 的 位 置 ,并 做 相应 的 运算 . 而 对 于 两 个 稠密 矩阵 ,计算 A 十 B 则 需要 Ol ) 次 操作 ,其 计算 
量 可 能 远 远大 于 稀 玻 矩阵 的 情况 . 图 
存储 稀 鸣 矩阵 的 数据 结构 多 种 多 样 ,下面 介 绍 两 种 常见 的 存储 结构 . 


六 一 1 一 
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1. 三 元 组 结构 

三 元 组 (triplet) 结构 也 称 为 coordinate 格式 (COO) , 它 包 括 三 个 一 维 数 组 : 一 个 按 任意 
顺序 排列 的 非 零 矩阵 元 素 值 数组 .一 个 非 零 元 所 在 行 编号 的 整 型 数组 ,以 及 一 个 非 零 元 所 在 
列 编号 的 整 型 数组 . 三 个 数组 的 长 度 均 为 非 零 元 的 数目 N,. 

例 3. 16 (三 元 组 存储 结构 ): 用 三 元 组 结构 存储 稀 玖 矩阵 


10 2 0 0 
3 4 0 5 0 
A=|6 0 7 0 8 
O90 WW 人 胡 
0 00 © 也 


试 写 出 实际 存储 的 三 个 一 维 数组 的 值 . 
【 解 】 设 存储 非 零 元 素 值 、 行 编号 、 列 编号 的 数组 分 别 为 aa、row、col, 假 设 按 非 零 元 按 
逐 行 顺序 排列 , 则 三 个 数组 的 内 容 如 表 3-1 所 示 . 

表 3-1 稀 朴 矩阵 的 三 元 组 存储 结构 
Tar TT 
EE EE 
"|| || 


三 元 组 结构 非常 简单 规整、. 易 于 理解 ,是 最 基本 的 稀疏 矩阵 表示 方法 ,也 常 作为 相关 软件 
包 的 输入 数据 格式 . 在 三 元 组 格式 中 , 非 零 元 可 以 按 任意 顺序 存储 ,不 总 是 像 例 3. 16 中 那样 
一 行 一 行 地 依次 排列 . 同时 ,从 表 3-1 也 可 看 出 ,三 元 组 格式 存在 数据 上 的 元 余 , 即 很 多 连续 存 
储 位 置 上 的 非 零 元 有 相同 的 行 编号 . 基于 这 一 点 加 以 改进 ,可 得 到 压缩 稀 玻 行 存储 结构 . 

2. 压缩 稀疏 行 结构 

压缩 稀 豆 行 (compressed sparse row，CSR) 结 构 规定 非 零 元 按 第 一 行 、 第 二 行 直到 第 行 
这 样 的 顺序 存储 ,因此 不 需要 对 每 个 非 零 元 存储 其 行 号 (参考 表 3-1) ,只 需 记 录 每 行 第 一 个 非 
零 元 的 位 置 即 可 , 它 形成 一 个 行 指 针 数 组 .压缩 稀 玖 行 结构 也 包含 三 个 数组 , 非 零 元 素 值 和 列 
编号 数组 与 三 元 组 中 的 一 样 ,而 行 指针 数组 为 整 型 数组 ,其 长 度 为 n 十 1,n 为 矩阵 的 行 数 . 

例 3. 17( 压 缩 稀疏 行 存 储 结构 ): 用 压缩 稀 玻 行 结构 存储 例 3. 16 中 的 稀 跑 和 矩阵 A, 则 三 
个 数组 的 内 容 如 表 3-2 所 示 . 


表 3-2 稀 朴 矩阵 的 压缩 稀 朴 行 存储 结构 


数组 元 素 prow[ 疏 的 值 说 明 , 算 阵 第 i 行 非 零 元 的 信息 存储 在 数组 aa 和 col 的 第 prow| 让 
个 及 以 后 的 单元 中 . 因此 ,prow[Li 十 1] 一 prow[ 引 的 值 就 是 矩阵 第 i 行 非 零 元 的 数目 . 为 了 
体现 矩阵 最 后 一 行 非 零 元 的 数目 ,prow 数组 的 长 度 应 为 n 十 1, 且 prow[n 十 1] 二 Ni 十 1. 另 
外 请 注意 ,在 压缩 稀 玻 行 格式 中 ,并 没有 规定 同一 行 的 非 零 元 的 排列 顺序 . 
90 = 
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压缩 稀 朴 行 格式 还 有 很 多 变种 ,例如 压缩 稀疏 列 (CSC) 格 式 , 即 按 逐 列 顺序 存储 非 零 
元 ,其 中 使 用 列 指针 数组 . 还 可 以 利用 高 级 编程 语言 中 “指针 ”的 概念 直接 存储 “指针 ”类 型 
的 数据 ,而 不 是 整数 编号 . 无 论 是 压缩 稀疏 行 格式 还 是 它 的 变种 ,它们 与 三 元 组 相 比 ,都 使 
用 更 少 的 存储 空间 ,因此 是 处 理 大 规模 稀疏 和 矩阵 的 首选 数据 结构 . 

上 述 两 种 存储 结构 都 适合 于 任意 稀疏 矩阵 ,而 对 于 非 零 元 分 布 特征 明显 的 结构 化 稀 政 
LL 矩阵 ,还 可 以 设计 出 更 特殊 的 存储 结构 .例如 对 于 带 状 
0 矩阵 或 非 零 元 集中 分 布 在 若干 条 主 、 副 对 角 线 上 的 稀 政 
i 矩阵 ,可 以 将 每 条 对 角 线 元 素 按 一 维 数组 存储 ,采用 若 
人 干 个 一 维 数组 (可 能 还 需 少量 辅助 信息 指示 对 角 线 的 位 

置 ) 即 可 表示 相应 的 稀疏 和 矩阵 (如 算法 3. 11 中 ). 或 者 ， 

国 315 一 个 分 所 稀 六 条 阵 .每 个 ”对 分 其 特征 明显 的 矩阵 (如 图 3-15 所 示 ), 可 设计 出 分 

两 站 关 2X2 的 疆 涉 块 压缩 稀 政 行 存储 结构 . 
对 于 大 规模 稀疏 线性 方程 组 求解 问题 ,采用 稀 政 算 
阵 存储 结构 是 非常 必要 的 . 
例 3. 18( 稀 疏 矩 阵 的 存储 量 ) : 假设 一 个 十 万 (105) 阶 矩阵 4 包含 一 百 万 (10) 个 非 零 元 
素 ( 平 均 每 行 10 个 非 零 元 ) ,矩阵 元 素 采 用 IEEE 双 精 度 浮 点 数 存储 , 试 分 析 使 用 稠密 矩阵 
存储 和 压缩 稀 朴 行 存储 分 别 需 要 多 少 内 存量 . 
【 解 】 一 个 IEEE 双 精 度 浮 点 数 占 8B( 字 节 ) ,一 个 IEEE 整 型 数据 占 4B. 因此 ,采用 和 确 
密 和 矩阵 格式 ,和 矩阵 4 的 存储 量 为 8X105X105 王 8X100、80(GB) ;而 采用 CSR 格式 ,三 个 数 
组 的 长 度 分 别 为 10 .105 和 10 ,而 且 后 两 个 数组 为 整 型 数组 ,因此 总 存储 量 为 8X 10* 十 
4X106 十 4X105 王 12.4X105、12.4(MB). 国 
采用 针对 稀 琉 矩阵 的 数据 结构 能 节省 很 大 的 存储 量 , 也 是 处 理 很 多 大 规模 稀 琉 矩阵 的 
唯一 办 法 ,但 基于 它 的 矩阵 运算 要 比 基 于 二 维 数 组 结构 的 复杂 一 些 . 例如 ,已 知行 、. 列 位 置 


不 能 直接 访问 到 某 个 矩阵 元 素 . 不 过 ,单独 访问 一 个 矩阵 元 素 的 x x x x 

操作 很 少 遇 到 ,常见 的 矩阵 加 法 .矩阵 向 量 乘法 .高 斯 消去 过 程 等 x x 

运算 都 涉及 访问 一 系列 矩阵 元 素 , 因 此 基于 稀疏 矩阵 数据 结构 仍 
XxX 


可 能 设计 出 高 效率 的 算法 . 


例 3.19 (高 斯 消去 过 程 的 填 入 ): 假设 稀 朴 矩阵 4 的 威 尔 金 ”一 个 稀 政 乱 阵 的 


森 图 如 图 3-16 所 示 , 试 分 析 用 高 斯 消去 过 程 对 A 进行 “ 原 地 工 人 
作 ” 的 LU 分 解 ,4 的 非 零 元 分 布 会 有 什么 变化 . 
【 解 】 按 高 斯 消去 过 程 的 步 又 ,矩阵 非 零 元 分 布 图 的 变化 情况 如 下 ， 
:4 兴 关 关 . 洋 2 光世 沽 ， 训 让 闫 
x Xx > 4 6) © 4 (Ce) OO 让 多 09 GO 
xx | 一 x x 站 x x 四 | x x 四 
x x x x® 四 
最 终 增加 了 5 个 非 零 元 ,在 图 中 用 圆圈 标示 出 来 国 


从 例 3. 19 看 出 ,对 于 稀 玻 和 矩阵 进行 高 斯 消去 过 程 , 会 新 增加 一 些 非 零 元 ,它们 被 称 为 填 

入 元 (fill-in), 这 种 现象 称 为 填 人 现象 . 由 于 稀 玻 和 矩阵 一 般 只 存 非 零 元 , 填 人 元 必然 造成 稀 

玻 矩 阵 存储 结构 的 更 改 . 而 且 , 填 入 使 得 矩阵 的 稀 蚊 度 降 低 , 进 而 增 大 线性 方程 组 求解 的 计 
。 101。 
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算 量 . 针对 稀 玻 线性 方程 组 的 直接 解法 ,一 方面 要 改编 一 般 的 求解 算法 使 之 适应 稀 朴 矩阵 
的 存储 结构 (避免 与 零 元 素 有 关 的 运算 ) , 另 一 方面 要 尽量 减少 填 人 元 ,避免 随 着 消去 过 程 的 
进展 存储 量 和 计算 量 增 长 太 多 . 最 后 为 了 保证 数值 稳定 性 ,一般 还 要 进行 选 主 元 . 

针对 稀 玖 矩阵 数据 结构 的 算法 设计 以 及 稀 跑 线 性 方程 组 直接 解法 的 各 种 技术 超出 了 本 
书 的 范围 ,其 中 一 些 内 容 仍 是 当今 的 研究 前 沿 .对 此 感 兴趣 的 读者 可 参考 文献 [11]. 


3.6.2 MATLAB 中 的 相关 功能 


MATLAB 软件 以 矩阵 计算 的 功能 见长 ,其 中 ,实现 了 很 多 线性 方程 组 求解 算法 ,也 包 
括 针 对 稀 玻 矩阵 的 直接 解法 . 在 MATLAB 中 ,矩阵 有 稠密 和 稀 朴 两 种 存储 方式 ,稠密 存储 
方式 即使 用 二 维 数组 的 数据 结构 ,而 稀 琉 存储 方式 则 使 用 压缩 稀 朴 列 格式 . 两 种 存储 方式 
的 矩阵 可 通过 命令 相互 转换 ,它们 以 相同 的 方式 支持 一 般 的 矩阵 操作 与 运算 ,只 是 内 部 算法 
会 对 两 种 情况 区 别 对 待 . 

下 面 列 出 一 些 与 稀 玻 矩阵 有 关 的 常用 命令 . 

(1) 命令 whos 显示 系统 中 所 有 变量 的 信息 ,可 区 分 出 采用 稀 足 矩 阵 存 储 方式 的 矩阵 . 例如 : 


>>whos 

Name Size Bytes Class Attributes 
A 2x3 48 double 

SA 2x3 52 double sparse 


执行 结果 表示 sh 为 使 用 稀 玻 矩阵 存储 方式 的 矩阵 ,而 4 使 用 的 是 稠密 矩阵 存储 方式 . 
(2) 命令 nnz 统计 和 矩阵 中 非 零 元 的 数目 . 例如 : 
>>nnz (A) 


ans= 


入 
(3) 命令 find 给 出 所 有 非 零 元 的 信息 . 例如 : 
>>[i js]=find (A) 
输出 的 三 个 向 量 i\j、s 分 别 表 示 非 零 元 的 行 编号 、 列 编号 和 数值 ,反映 了 稀 玖 和 矩阵 的 三 
元 组 表示 方式 . 
(4) 命令 spy 显示 矩阵 的 非 零 元 分 布 图 ,显示 的 结果 类 似 于 图 3-14. 
(5) 命令 sparse 将 一 个 矩阵 转换 为 稀疏 矩阵 表示 ,例如 : 
>>S=Sparse (A) 
而 命令 full 则 进行 相反 的 操作 : 
>>A=full(s) 
(6) 命令 sparse 还 可 创建 大 规模 的 稀 玖 和 矩 阵 , 例 如 执行 命令 
>>S=sparse (i, j, x, m, n) 
它 生 成 一 个 mXn 的 稀 药 矩阵 ,而 i\j、z 分 别 为 矩阵 非 零 元 的 行 号 、 列 号 和 数值 组 成 的 
向 量 . 它 体现 了 用 三 元 组 结构 作为 稀 玻 矩阵 输入 格式 . 
» 102 。 
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(7) 命令 spdiags 专门 生成 非 零 元 分 布 在 主 对 角 线 及 其 平行 线 上 的 稀 玖 矩阵 ,例如 : 
>>S=spdiags([a b c], [=1 01], n, n); 


它 生 成 一 个 nXn 的 带 状 和 矩阵, 向量 a、bc 包含 三 条 对 角 线 上 的 元 素 值 ,[ 一 1 0 1] 则 相 
应 地 指示 了 这 三 条 对 角 线 离 主 对 角 线 的 距离 . 

(8) 命令 speye(m,n) 生 成 一 个 mXn 的 单位 阵 , 采 用 稀 跑 矩阵 存储 方式 . 

(9) 命令 sprand 生成 随机 的 稀 玖 矩阵. 如果 输 入 参数 为 一 个 稀 玖 和 矩阵 ,如 sprand(S)， 
则 返回 值 为 非 零 元 分 布 与 S 相 同 的 一 个 矩阵 ,矩阵 非 零 元 的 数值 为 0 一 1 之 间 的 均匀 分 布 随 
机 数 . 如 果 输 入 参数 中 指定 稠密 度 (density) ,如 sprand(m， n，density), 则 生成 一 个 mXn 
的 矩阵 ,其 非 零 元 随机 分 布 , 但 非 零 元 数目 大 约 为 density XmXn. 

(10) 要 计算 一 个 稀 玻 矩阵 4 的 稀 朴 度 (sparsity) ,可 执行 下 面 两 行 命令 : 

>>density=nnz (A) /prod(size (RAR) ) 

>>Sparsity=1-dqensity 

(11) 判断 稀疏 带 状 矩阵 4 的 半 带 宽 (8) , 即 求 矩 阵 中 非 零 元 素 到 主 对 角 线 的 最 大 距离 ， 
可 执行 下 面 两 行 命令 : 

>>[i, j]=find (A); 

>>half bandwidth=max (abs (i-j)) 
其 中 ,find 命令 返回 两 个 向 量 , 分 别 记录 非 零 元 的 行 编号 和 列 编 号 . 

在 MATLAB 中 ,将 多 种 线性 方程 组 直接 解法 集成 在 一 起 ,提供 了 一 个 简单 的 反 斜 线 运 
算 符 “\”( 同 命令 mldivide) 实 现 线性 方程 组 的 求解 . 例如 要 解 方程 Ax 二 6b, 执 行 命令 


>>x=A\b; 
即 可 .其 中 ,b 可 以 是 一 个 矩阵 ,这 时 反 斜 线 运 算 符 会 将 b 的 各 列 作 为 右 端 项 依次 求解 ,为 
了 达到 最 高 的 计算 效率 , 反 斜 线 运 算 符 的 内 部 算法 会 自动 判断 矩阵 的 类 型 ,然后 采用 不 同 的 


算法 求解 . 表 3-3 列 出 * 反 斜 线 ? 求 解 器 针对 各 种 类 型 矩阵 所 采用 的 不 同 算法 . 
表 3-3 “ 反 斜 线 "求解 器 的 内 部 算法 框架 


和 矩阵 4( 按 如 下 优先 顺序 ) 求 解 算 法 
稀 玻 矩阵 ， 且 为 对 角 阵 右 端 项 元 素 除 以 矩阵 对 角 元 


较 稠 密 的 带 状 矩阵 
上 三 角 或 下 三 角 矩 阵 
对 三 角 和 矩阵 作 行 排列 形成 的 矩阵 


部 分 选 主 元 的 带 状 和 矩阵 LU 分 解 与 回 代 (LAPACK 软件 包 ) 
回 代 法 或 前 代 法 
重 排序 后 用 回 代 或 前 代 法 


通过 Cholesky 分 解 算法 检查 正定 性 ,对 稠密 矩阵 和 稀 朴 矩阵 
分 别 用 LAPACK 软件 包 和 CHOLMOD 软件 包 . 若 成 功 再 回 
代 求 解 , 若 稠密 且 不 正定 ,使 用 选 主 元 的 对 称 矩 阵 求 解 算法 
(LAPACK 软件 包 ) 


执行 高 斯 消去 变 为 上 三 角 和 矩阵 再 回 代 求 解 


对 称 和 矩阵 ， 且 对 角 线 元 素 大 于 零 


稠密 的 上 黑 森 伯 格 (Hessenberg) 和 矩阵 
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续 表 
和 矩阵 4( 按 如 下 优先 顺序 ) 求 解 算 法 
一 般 的 稀 玻 方 阵 针对 稀 玻 矩阵 的 直接 解法 (UMFPACK 软件 包 ) 
一 般 的 稠密 方 阵 部 分 主 元 LU 分 解 (LAPACK 软件 包 ) 
不 是 方 阵 通过 矩阵 QR 分 解 得 到 最 小 二 乘 解 ,分 稠密 矩阵 与 稀 玻 矩阵 


两 种 情况 


在 表 3-3 中 ,LAPACK 软件 包 是 著名 的 线性 方程 组 求解 软件 包 , 它 基本 上 包括 了 本 章 
给 出 的 所 有 算法 . CHOLMOD 和 UMFPACK 是 美国 佛罗里达 大 学 的 T. Davis 教授 ?于 
2004 年 左右 开发 出 的 稀 玻 矩阵 直接 解法 软件 包 . 关于 上 黑 森 伯 格 矩阵 `QR 分 解 , 以 及 最 小 
二 乘 , 见 第 5 章 和 第 6 章 的 相关 内 容 . 

在 MATLAB 中 还 有 一 个 命令 linsolve, 它 的 功能 与 算 符 人 ?几乎 一 样 , 但 不 支持 稀疏 矩 
阵 . 命令 lu 和 chol 分 别 进行 矩阵 的 LU 分 解 与 Cholesky 分 解 ,它们 都 能 处 理 稠密 矩阵 和 
稀 玖 和 矩阵 两 种 情况 . 当 处 理 稠密 和 矩阵 时 ,lu 的 内 部 算法 主要 是 算法 3. 9,chol 的 内 部 算法 是 
算法 3. 10; 对 于 稀 玻 矩阵 ,它们 分 别 使 用 UMFPACKE 和 CHOLMOD 软件 包 的 算法 . 


3.7 有 关 数 值 软件 


几乎 所 有 的 数值 计算 软件 和 程序 包 都 具有 求解 线性 方程 组 的 功能 . 最 基本 的 功能 是 求 
解 一 般 的 实 系数 稠密 线性 方程 组 ,有 些 还 支持 稀 疏 线性 方程 组 的 求解 (例如 MATLAB). 在 
这 些 软件 中 ,求解 线性 方程 组 Ax 二 bb 有 的 由 一 个 命令 或 程序 模块 完成 ,有 的 分 为 两 个 程序 
模块 ,一 个 进行 矩阵 的 LU 分 解 , 另 一 个 求解 上 /下 三 角 方 程 组 . 无 论 哪 种 情况 ,其 内 部 算法 
都 包括 了 和 矩阵 分 解 和 回 代 两 个 过 程 . 对 于 只 用 一 个 命令 实现 方程 求解 的 软件 ,输入 数据 中 
的 右 端 项 5b 一般 都 允许 为 矩阵 (二 维 数组 ) ,以 便 对 含 多 右 端 向 量 的 问题 进行 高 效率 的 求解. 
表 3-4 列 出 一 些 广泛 使 用 的 软件 中 进行 矩阵 LU 分 解 和 回 代 求 解 的 程序 . 

表 3-4 数值 软件 中 求解 线性 方程 组 的 程序 或 命令 


软件 /程序 包 矩阵 的 LU 分 解 方程 求解 条 件数 估计 
FMM decomp solve 
HSL ma21 ma21 
IMSL lftrg lfsrg lfcrg 
LAPACK sgetrf sgetrs sgecon 
LINPACK sgefa sgesl sgeco 
MATLAB lu \ rcond/condest 
NAG fo7adf f07aef {07agf 
NAPACK fact solve con 
NR ludcmp lubksb 
SLATEC sgefa sgesl sgeco 


@ 现 供 职 于 美国 德州 农机 大 学 (Taxes A&M University). 
» 104 。 


第 3 章 线性 方程 组 的 直接 解法 


其 中 ,LAPACK 和 LINPACK 是 求解 线性 方程 组 有 关 问 题 的 标准 软件 包 , 可 从 程序 库 
Netlib 中 获得 . 这 些 程序 基本 上 都 采用 了 部 分 选 主 元 技术 ,其 输出 结果 除了 解 向 量 (通常 存 
于 右 端 项 b 中 ) 和 和 矩 阵 分 解 因子 (通常 存 于 和 矩阵 A 中 ) ,还 可 能 包括 一 些 指示 错误 或 警告 的 
状态 标志 ,以 及 部 分 选 主 元 的 信息 . 有些 矩阵 分 解 程序 还 同时 计算 矩阵 的 行列 式 . 在 
LAPACK 和 LINPACK 等 开源 程序 包 中 ,针对 不 同 的 矩阵 元 素 类 型 有 不 同 的 方程 求解 程 
序 ,通过 程序 名 的 前 组 加 以 区 分 . s 表示 单 精度 浮 点 数 实数 ,d 表示 双 精 度 浮 点 数 实数 ,c 表 
示 单 精度 复数 ,z 表示 双 精 度 复 数 ( 这 些 包 中 其 他 程序 也 遵循 这 一 命名 规则 ,在 本 书 其 他 各 
章 介 绍 时 不 再 歼 述 ). 

此 外 ,这 些 程序 包 往 往 还 提供 矩阵 条 件数 (或 其 倒数 ) 的 估计 ,相应 的 程序 也 列 于 表 3-4 
中 . 应 注意 的 是 ,条 件数 的 准确 计算 涉及 和 矩阵 的 逆 ,MATLAB 中 使 用 命令 cond 计算 矩阵 的 
2- 范 数 、1- 范 数 以 及 cc- 范 数 条 件数 ,但 它 只 适合 于 较 小 规模 的 矩阵 . 

表 3-5 列 出 一 些 针对 特殊 类 型 线性 方程 组 的 求解 程序 . 对 于 一 般 的 大 规模 稀 朴 线性 方 
程 组 ,成熟 的 程序 包 或 软件 并 不 多 ,除了 3. 6. 2 节 提 到 的 UMFPACK 和 CHOLMOD( 已 被 
MATLAB 使 用 ) ,更 多 的 相关 资料 见 文献 [12]. 


表 3-5 求解 特殊 线性 方程 组 的 程序 


程序 包 对 称 正定 矩阵 对 称 不 定 矩 阵 带 状 矩阵 
HSL ma22 ma29 ma35 
IMSL lftds/lfsds lftsf{/lfssf lftrb/lfsrb 
LAPACK spotrf/spotrs ssytrf/ssytrs sgbtrf/sgbtrs 
LINPACK spofa/ sposl ssifa/ ssisl sgbfa/ sgbsl 
NAG sfact/sslove ifact/isolve bfact/bsolve 
NR choldc/cholsl bandec/bandks 
SLATEC spofa/ sposl ssifa/ ssisl sgbfa/ sgbsl 


程序 包 LAPACK 和 LINPACK 以 及 更 底层 的 BLAS 子 程序 ,在 科学 计算 领域 是 非常 
重要 和 基本 的 . LINPACK 是 20 世纪 70 年 代用 FORTRAN 语言 编写 的 标准 软件 包 , 已 成 
为 比较 计算 机 性 能 的 一 个 基准 程序 .LAPACK 于 1992 年 开始 开发 并 不 断 更 新 , 是 
LINPACK 的 替代 程序 , 它 考虑 了 包括 并 行 计算 机 在 内 的 现代 计算 机 多 级 存储 结构 ,一 般 情 
况 下 比 LINPACK 更 精确 .更 稳定 .更 功能 化 ,目前 的 许多 数值 计算 软件 都 以 LAPACK 为 
基础 . 

BLAS 是 基本 代数 子 程序 (basic linear algebra subprograms) 的 英文 缩写 , 它 的 目的 是 
针对 计算 机 体系 结构 设计 性 能 最 优 的 向 量 .矩阵 基本 运算 ,从 而 使 调用 它们 的 高 级 程序 具有 
最 优 的 性 能 和 可 移植 性 . LAPACK 中 的 程序 基于 BLAS 子 程序 ,在 Netlib 中 可 获得 BLAS 
的 普通 版 本 ,许多 计算 机 制造 商 也 提供 针对 自己 系统 进行 优化 的 独特 BLAS 版 本 . 随 着 计 
算 机 体系 结构 的 发 展 ,BLAS 也 在 发 展 , 它 逐渐 包括 3 个 级 别 . 具 有 不 同 计算 复杂 度 的 各 种 
矩阵 相关 运算 . BLAS 子 程序 设计 的 关键 是 考虑 计算 机 层次 化 存储 结构 中 高 速 缓存 .向 量 
寄存 器 和 虚拟 内 存 等 的 不 同 特点 ,尽量 使 高 速 存 储 设 备 中 的 数据 得 到 充分 的 再 利用 . 表 3-6 
列 出 不 同 级 别 的 一 些 重要 BLAS 例 程 . 
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表 3-6 基本 代数 子 程序 BLAS 


级 别 计算 复杂 度 例 程 功 能 程序 来 源 

saxpy 数 乘 向 量 再 加 向 量 

1 On) sdot 两 个 向 量 作 内 积 TOMS #539 
snrm2 向 量 的 2- 范 数 
sgemyv 矩阵 一 向 量 乘积 

有 OG) strsv 三 角 方程 组 的 解法 TOMS #656 
sger 矩阵 的 秩 1 修改 
sgemm 矩阵 一 矩阵 乘积 

3 OQ) strsm 多 个 三 角 方程 求解 TOMS #679 
ssyrk 和 矩阵 的 秩 上 修改 


表 3-6 中 ,“TOMS # xxx” 表 示 发 表 于 期 刊 ACM Transactions on Mathematical 
Software 的 算法 程序 ( 见 1.1.3 节 ). 在 各 个 BLAS 程序 中 ,3 级 BLAS 子 程序 的 数据 复 用 
情况 最 好 , 它 对 OG ) 的 数据 项 完成 了 OC) 次 浮 点 运算 ,因此 尽 可 能 地 调用 它 能 获得 最 高 
的 程序 性 能 . 


评 述 


线性 代数 方程 组 的 求解 是 一 个 古老 而 经 典 的 问题 ,甚至 可 以 说 是 数值 计算 中 的 永恒 研 
究 课题 . 

高 斯 消去 法 的 思想 最 早出 现在 我 国 , 公 元 二 世纪 成 书 的 4 九 章 算术 》 中 就 已 将 它 用 于 求 
解 线性 方程 组 . 在 西方 ,高 斯 (Gauss) 于 1810 年 提出 的 简化 二 次 型 计算 的 公式 是 高 斯 消去 
法 的 锥 形 ,严格 来 说 , 它 对 应 于 对 称 正定 矩阵 的 LDL 分 解 . 矩阵 的 LU 分 解 的 雏形 是 由 雅 
可 比 (Jacobi) 提出 的 双 线 性 型 的 化 简 公 式 , 而 Cholesky 分 解 算法 在 20 世纪 才 被 提出 ,由 
Benoit 于 1924 年 发 表 . 在 20 世纪 上 半 叶 ,研究 高 斯 消去 法 求解 线性 方程 组 时 的 舍 人 误差 
是 一 个 重要 的 课题 . 对 此 做 出 贡献 的 有 冯 “， 详 依 曼 (von Neumann) .图 灵 (Turing)、 豪 斯 霍 
尔 德 (Householder) 和 威 尔 金 森 (Wilkinson) 等 人 . 图 灵 提 出 了 和 矩阵 条 件数 的 概念 , 威 尔 金 
森 系 统 地 分 析 了 线性 方程 组 直接 解法 中 舍 入 误差 的 影响 . 

关于 选 主 元 高 斯 消去 法 稳定 性 的 争论 也 持续 了 多 年 . 理论 分 析 表 明 ,部 分 主 元 方法 可 
能 是 不 稳定 的 ,甚至 可 以 举 出 一 些 例 证 . 但 大 量 的 实践 表明 了 它 的 有 效 性 ,甚至 可 以 将 它 用 
于 并 行 计算 . 目前 ,部 分 主 元 方法 已 被 广泛 用 于 科学 与 工程 计算 中 , 它 的 稳定 性 和 有 效 性 经 
受 住 了 实践 的 检验 . 

很 多 科学 与 工程 问题 的 数学 模型 都 是 常 微 分 方程 组 或 偏 微分 方程 ,而 能 够 解析 求解 的 
问题 非常 少 . 在 绝 大 多 数 情 况 下 ,这 些微 分 方程 的 数值 求解 又 归结 为 线性 方程 组 的 求解 . 
实际 应 用 的 需求 从 一 维 、 二 维 简 化 问题 逐渐 发 展 到 真实 的 三 维 模拟 ,因此 待 求解 的 线性 方程 
组 的 规模 也 越 来 越 大 , 常 包 含 几 千 个 其 至 更 多 的 未 知 量 . 值得 注意 的 是 ,这 些 大 规模 的 线性 
方程 组 一 般 具 有 非常 稀 玖 的 系数 矩阵 , 如何 求 解 它们 是 一 个 挑战 性 问题 对 于 稀 玖 的 大 型 
线性 方程 组 ,直接 解法 的 基本 思想 依然 是 高 斯 消去 法 ,但 关键 在 于 控制 系数 矩阵 填 人 元 的 数 
量 , 以 及 利用 稀疏 性 减 小 计算 量 . 在 这 些 算法 中 ,往往 涉及 精巧 的 数据 结构 和 算法 技巧 ,还 
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要 使 用 图 论 的 知识 和 算法 . 事实 上 , 现 有 的 稀 玻 线性 方程 组 直接 解法 还 不 能 满足 所 有 应 用 
问题 的 需要 ,但 与 求解 线性 方程 组 的 迭代 法 (将 在 第 4 章 介 绍 ) 相 比 , 在 准确 度 和 重 棒 性 方面 
直接 解法 一 般 还 是 具有 优势 . 关于 稀 玻 线性 方程 组 的 直接 解法 可 参考 下 面 两 本 专著 : 

。 1. S. Duff, et. al, Direct Method for Sparse Matrices, Clarendon Press, 1986. 

。 TT. Davis, Direct Methods for Sparse Linear Systems, SIAM Press, 2006. 

感 兴趣 的 读者 可 访问 T. Davis 的 个 人 网 站 http://faculty. cse. tamu. edu/davis/ 了 解 
稀 鸣 矩阵 线性 方程 组 直接 解法 的 较 新 研究 成 果 . 

对 于 真正 具有 挑战 性 的 大 规模 稀 玻 线性 方程 组 的 求解 ,需要 结合 直接 解法 和 人 迭代 解法 
两 者 的 优势 (例如 使 用 直接 解法 构造 迭代 法 的 预 条 件 ) ,这 已 逐渐 成 为 一 种 趋势 . 

【本 章 知识 点 】 向 量 范 数 ;三 种 向 量 范 数 的 计算 ;和 矩阵 的 算 子 范 数 ;三 种 矩阵 范 数 的 计 
算 ;矩阵 的 条 件数 ;病态 和 矩阵 ;直接 用 高 斯 消去 法 解 线性 方程 组 ;消去 矩阵 ;矩阵 的 LU 分 解 ; 
LU 分 解 的 充分 条 件 与 唯一 性 ;直接 LU 分 解 算法 ;LU 分 解 的 计算 复杂 度 ; 基 于 LU 分 解 的 
线性 方程 组 求解 ; 选 主 元 的 作用 与 策略 ;部 分 主 元 高 斯 消去 法 ;部 分 主 元 的 LU 分 解 ;高 斯 消 
去 法 的 稳定 性 ;Cholesky 分 解 算法 ;Cholesky 分 解 的 应 用 ;三 对 角 线 性 方程 组 的 解法 ;对 角 
占 优 矩 阵 ; 稀 朴 矩 阵 基 本 知识 ;MATLAB 中 有 关 线 性 方程 组 求解 的 命令 . 


算法 背后 的 历史 : 威 尔 金森 与 数值 分 析 


麻 姆 斯 。 威 尔 金 森 (James Hardy Wilkinson,1919 年 9 月 27 日 一 1986 年 10 月 5 日 ) 
是 英国 皇家 学 会 院士 .著名 的 数学 家 、 数 值 分 析 专家 . 威 尔 金 森 的 成 就 主要 在 数值 分 析 ， 
尤其 是 数值 线性 代数 方面 ,他 是 数值 计算 早期 理论 和 数学 软件 
的 开拓 者 和 英 基 人 ,也 是 建造 图 灵 (Turing) 设 计 的 ACE 计算 机 
的 功臣 . 威 尔 金 森 于 1970 年 获得 “计算 机 界 的 诺 贝 尔 奖 ” 一 一 
图 灵 奖 . 

威 尔 金 森 于 1919 年 9 月 27 日 生 于 英国 肯特 郡 的 斯 特 洛 特 
(Strood，Kent), 在 剑桥 最 负 盛 名 的 “三 圣 学 院 ”(Trinity 
College) 接 受 了 严格 的 教育 ,成 绩 出 众 ,16 岁 的 他 获得 三 圣 学 院 

图 3-17 威 尔 金森 的 最 高 荣誉 Trinity Major Scholarship, 随 后 免试 进入 剑桥 

大 学 . 1939 年 ,19 岁 的 威 尔 金 森 获得 一 等 荣誉 奖章 从 剑桥 毕业 . 
由 于 第 二 次 世界 大 战 的 原因 ,他 随后 进入 剑桥 数学 实验 室 的 军械 研究 所 (Armament 
Research Department) 工 作 , 研 究 有 关 弹 道 的 数学 模型 和 数值 计算 . 1946 年 ,他 进入 英国 最 
著名 的 学 术 机 构 之 一 一 一 国家 物理 实验 室 NPL 的 数学 部 ,协助 图 灵 设 计 ACE 计算 机 ,在 图 
灵 离 开 NPL 后 ,他 负责 该 项 目 ,于 1950 年 研制 成 功 ACE 计算 机 ,处 于 当时 的 世界 领先 水 
平 . 威 尔 金 森 长 期 担任 NPL 的 学 术 长 官 ,在 NPL 营造 了 一 个 浓厚 而 民主 的 学 术 氛 围 ,被 授 
予 “ 有 特殊 贡献 的 首席 科学 长 官 ”荣誉 称号 . 1980 年 ,他 从 NPL 退休 后 担任 美国 斯 坦 福 大 学 
客座 教授 ,1986 年 不 幸 病 送 . 

威 尔 金森 的 主要 贡献 

适 阵 的 概念 是 在 1858 年 由 凯 莱 (Cayley) 提 出 的 ,将 高 斯 消去 法 表示 成 适 阵 分 解 是 在 20 
世纪 40 年 代 由 冯 。 诺 依 曼 (von Neumann) 、H. H. Goldstine、 豪 斯 霍 尔 德 (Householder) 等 
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人 提出 的 . 计算 机 的 早期 开创 者 冯 。 诺 依 曼 和 图 灵 等 ,主要 关心 的 是 用 高 斯 消去 法 求解 大 
规模 线性 方程 组 时 舍 入 误差 的 累积 是 否 会 使 结果 误差 很 大 . 在 这 一 点 上 ,开始 的 研究 结果 
是 非常 悲观 的 ,但 不 久 后 计算 实践 惊人 地 表明 了 此 方法 的 稳定 性 和 准确 性 . 
威 尔 金森 提出 了 “向 后 误差 分 析 法 ”, 系 统 地 研究 了 短 阵 计算 的 误差 问题 ,对 ( 选 主 元 ) 高 
斯 消去 法 的 这 种 良好 特性 做 出 了 解释 和 证 明 . 威 尔 金 森 还 较 早 关注 稀 跤 线性 方程 组 的 求解 
问题 ,采用 一 种 形象 的 方式 表示 短 阵 非 零 元 的 分 布 情况 ,这 种 表示 被 称 为 “ 威 尔 金 森 图 ”， 威 
尔 金森 的 学 术 思 想 和 贡献 主要 体现 在 三 本 专著 中 ,至 今 仍 有 很 大 的 影响 ; 
。 J. H. Wilkinson, Rounding Errors in Algebraic Processes, Prentice-Hall 
Press, 1964. 

。 J. H. Wilkinson, The Algebraic Eigenvalue Problem, Clarendon Press, 1965. 
(中 译本 为 ; 石 钟 句 , 邓 健 新 译 .《 代 数 特 征 值 问题 ). 北京: 科学 出 版 社 ,2001) 

。 J. H. Wilkinson, C. Reinsch, Handbook for Automatic Computations, Vol. I1, 
Linear Algebra, Springer-Verlag Press, 1971. 

威 尔 金森 还 是 数学 软件 的 开拓 者 . 20 世纪 70 年 代 , 他 参与 并 推动 成 立 了 一 个 非 伙 利 的 
名 为 NAG(Numerical Algorithms Group Ltd. ) 的 公司 ,目的 是 开发 和 推广 数值 分 析 和 统计 
分 析 软 件 包 . 当时 NAG 的 大 部 分 线性 方程 求解 和 纸 阵 特征 值 计 算 方面 的 程序 都 由 威 尔 金 
森 主 持 编写 . 他 还 积极 参与 美国 阿尔 贡 (Argonne) 实 验 室 NATS 小 组 的 EISPACK 软件 项 
目 ,并 贡献 力量 ,后 来 EISPACK 软件 成 为 计算 抵 阵 特 征 值 的 著名 软件 . 

由 于 威 尔 金森 在 发 展 数值 计算 技术 和 方法 上 的 杰出 贡献 ,他 在 1970 年 被 授予 图 灵 奖 . 
他 在 图 灵 奖 颁奖 大 会 上 作 了 题 为 “一 个 数值 分 析 家 的 若干 意见 ”(Some comments from a 
numerical analyst) 的 演讲 ,全 文 刊登 于 1971 年 4 月 份 的 Journal of ACM 杂志 上 . 


练 习 题 


0.6, 0.5 
4=| | 
0:1, 03 
计算 4 的 cc- 范 数 .1- 范 数 以 及 2- 范 数 . 
2. 设 xER', 求 证: Dx。 上 xl1<nl x 。. 


3. 设 PER*" 且 非 奇异 ,又 设 上 x 为 R* 上 一 向 量 范 数 ,定义 


xl ,= | Px|, 
试 证 明 | x1, 是 R* 上 向 量 的 一 种 范 数 . 
4. 设 和 矩阵 
2 入 
4=| 小 


其 中 ,XER ,证 明 当 4 一 士 写 时 ,cond(4)。 有 最 小 值 


5. 试 证 明 : 如 果 A 是 正 交 阵 , 则 cond(4): 王 1. 
6. 设 4,BER”" ,证 明 : 
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cond(AB) < cond(A)cond(B). 
7. 设 A 二 (ai ),xs 是 对 称 阵 , 且 ca 天 0, 经 过 高 斯 消去 法 一 步 后 ,4 约 化 为 


an ai 
Im “| 
证 明 4, 是 对 称 矩 阵 . 
8. 设 A 三 (qi ),x* 是 对 称 正定 矩阵 ,经 过 高 斯 消去 法 一 步 后 ,4 约 化 为 


ine 
试 证 明 : 


(1) 4 的 对 角 元 素 as 二 0(i 一 1,2,…,7). 
(2) hs, 是 对 称 正定 矩阵 . 
9. 设 ML 为 第 &A 类 初等 消去 矩阵, 即 


AM = 


Mn,k 1 

试 证 明 : 当 ij>k 时 ,Mi 二 LMili, 也 是 第 类 的 初等 消去 矩阵 ,其 中 ,Lj 为 交换 第 i 行 和 
第 7 行 的 初等 交换 阵 ， 

10. 试 推导 矩阵 A 的 Crout 分 解 A 二 LU 的 算法 ,其 中 江 为 下 三 角 阵 ,U 为 单位 上 三 
角 阵 . 

11. 考虑 线性 方程 组 Ux 二 dd, 其 中 ,U 为 n Xn 的 上 三 角 和 矩阵 . 试 分 析 求 解 它 所 需 的 乘除 
法 次 数 . 

12. 分 别 采用 高 斯 消去 法 和 直接 LU 分 解法 对 下 述 和 矩阵 进行 LU 分 解 , 写 出 矩阵 工 
和 U: 


i 证 对 本 2 多 
i. 了 荆 有 
1 和 全 多 加 
A= |0 4 —1|, B=|2 5 2|, C= ，D= i 
1 4 2 4 3 
二 2 1 3 和 
1 2 3 4 0 0 6 一 1 
13. 采用 部 分 主 元 高 斯 消去 法 对 矩阵 
和 益 
六 
2 
A=|2 4 5|,，B= 
4 2 4 3 
3 5 6 
0 0 6 一 1 


We 分 解 , 写 出 得 到 的 矩阵 工 `.U 和 PP. 
4. 设 A、B.C 均 为 nXn 和 矩阵 , 且 B\C 非 奇 异 ,b 是 维 向 量 , 要 计算 
xz 一 了 (24 十 DCC A)b, 
高 效率 的 算法 流程 . 
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15. 分 别 计算 矩阵 


4 器 : 娃 做 
3 0 
和 10. .8 下 
漆 生 | .3 1 有 三 
4 8 9 5 
人 ,下 总 
1， 下 19 
的 Cholesky 分 解 . 
16. 用 追赶 法 解 三 对 角 方 程 组 Ax 一 0 ,其 中 
2 = 0 0 0 1 
= 时 /| 0 0 0 
A 一 0 .三 六 2 二 1 Oly, FE [OL 
0 0 -=1 人 .== 0 
0 0 人 -一 工 2 0 


17. 下 述 矩 阵 能 否 进行 LU 分 解 (其 中 ,L 为 单位 下 三 角 阵 ,U 为 上 三 角 阵 )? 若 能 分 解 ， 

分 解 是 否 唯 一 ? 
3 
A= 1|， B= 


1 2 1 
2 4 2 | 
4 6 3 1 


1 
2 
3 


18. 设 和 矩阵 4E 民 汪 按 列 严格 对 角 占 优 , 试 证 明 : 
(1) 对 矩阵 A 做 部 分 主 元 高 斯 消去 时 ,不 需要 交换 行 , 即 假设 经 过 k 一 1 步 消去 后 矩阵 
4A 变 为 4 一 (q 多 )xw(CR 一 1,2, 72 一 1)， 则 
as | CD 
(2) 矩阵 4 非 奇异 . 


上 机 题 


1. 编程 实现 矩阵 的 LU 分 解 ( 算 法 3. 5 或 算法 3. 6) ,以 及 回 代 和 前 代 过 程 ( 算 法 3. 2、 
算法 3.7). 自行 构造 几 个 矩阵 和 已 知 解 的 特殊 右 端 向 量 进行 测试 ,验证 程序 的 正确 性 . 

2. 编写 部 分 选 主 元 的 LU 分 解 和 高 斯 消去 法 程序 (算法 3. 9) ,自行 构造 几 个 矩阵 和 已 
知 解 的 特殊 右 端 向 量 进行 测试 ,验证 程序 的 正确 性 . 

3. 用 随机 和 矩阵 ( 即 随机 数 发 生 器 产生 和 矩 阵 元 素 ) 生 成 几 个 线性 方程 组 , 取 已 知 解 的 特殊 
右 端 向 量 ,比较 不 选 主 元 和 部 分 选 主 元 高 斯 消去 法 程序 的 解 的 准确 度 、 残 差 和 运行 效率 . 

4. 编写 矩阵 的 Cholesky 分 解 程序 (算法 3. 10) , 想 办 法 构造 对 称 正 定 和 矩阵 和 对 称 不 定 
矩阵 ,对 该 算法 进行 测试 ,观察 现象 . 

5. 将 一 般 矩 阵 的 LU 分 解 算法 (算法 3. 5) 加 以 修改 ,得 到 一 种 不 同 于 算法 3. 10 的 
Cholesky 分 解 算 法 , 写 出 算法 伪 码 并 编程 实现 ,构造 对 称 正定 矩阵 验证 该 算法 的 正确 性 . 

6. 编程 序 生成 Hilbert 矩阵 H,( 见 例 3. 4) ,以 及 nn 维 向 量 b 二 Hx ,其 中 ,x 为 所 有 分 量 
都 是 1 的 向 量 . 用 Cholesky 分 解 算法 求解 方程 Hix 二 5b, 得 到 近似 解 ,计算 残 差 r 一 2 一 
Hx 和 误差 Ax 二 xt 一 x 的 oo- 范 数 . 

(1) 设 n=10, 计算 Dr 。、 | Ax 。. 
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(2) 在 右 端 项 上 施加 10“ 的 扰动 然后 解 方程 组 ,观察 残 差 和 误差 的 变化 情况 . 

(3) 改变 的 值 为 8 和 12 ,求解 相应 的 方程 ,观察 |rl-、| Ax|l = 的 变化 情况 . 通过 
这 个 实验 说 明了 什么 问题 ? 

7. 根据 算法 3. 11 编写 一 个 求解 三 对 角 线 性 方程 组 的 程序 ,用 几 个 方程 进行 测试 . 如 果 
进行 部 分 选 主 元 ,程序 应 如 何 修改 ?” 构造 例子 ,说 明 部 分 选 主 元 得 到 的 解 更 加 准确 . 

8. 根据 3.6. 2 节 , 熟 悉 MATLAB 软件 的 有 关 命 令 . 

9. 从 下 述 网 站 下 载 2 一 3 个 较 大 规模 的 稀疏 矩阵 数据 ,自己 编写 MATLAB 读 人 程序 ， 
然后 使 用 MATLAB 求解 线性 方程 组 ,报告 求解 的 计算 时 间 . 

(1) http://www. cise. ufl. edu/research/sparse/matrices/ 


(2) http://math. nist. gov/MatrixMarket/ 
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第 3 章 讨论 了 线性 方程 组 的 直接 解法 ,包括 部 分 主 元 高 斯 消去 法 、 直接 LU 分 解法 、 楚 
列 斯 基 分 解法 、 追 赶 法 等 ,这 些 方法 适合 于 系数 矩阵 为 稠密 矩阵 或 特殊 结构 稀 玖 矩阵 (如 带 
状 和 矩阵) 的 情况 ， 对 于 较 一 般 的 大 规模 稀 玻 矩阵 ,直接 解法 需 考 虑 填 人 现象 ,相应 的 算法 设 
计 非 常 复杂 ,而 且 由 于 填 和 人 往往 使 矩阵 随 求解 过 程 逐 渐变 得 稠密 ,导致 巨大 的 计算 时 间 与 空 
间 开 销 . 另 一 方面 ,采用 直接 解法 能 得 到 比较 准确 的 解 ,但 它 并 不 适合 于 某 些 对 计算 时 间 要 
求 高 ,而 对 准确 度 要 求 不 高 的 场合 . 

本 章 介绍 求解 线性 方程 组 的 迭代 解法 , 它 在 某 些 情况 下 能 弥补 直接 解法 的 上 述 不 足 . 
我 们 先 讨论 三 种 基本 的 1 阶 定常 迭代 法 ,然后 简单 介绍 一 种 非 固定 格式 迭代 法 一 一 共 斩 梯 
度 法 ,最 后 将 各 种 迭代 法 进行 比较 ,主要 关注 它们 的 收敛 性 以 及 收敛 速度 . 


4.1 和 迭代 解法 的 基本 理论 


本 节 先 介绍 求解 线性 方程 组 的 迭代 法 的 基本 概念 ,然后 针对 1 阶 定常 迭代 法 对 收敛 性 
和 收敛 速度 进行 讨论 . 


4.1.1 基本 概念 


与 求解 非 线 性 方程 的 迭代 法 一 样 ,这 里 讨论 的 迭代 法 也 是 通过 一 个 近似 解 序 列 ( 每 个 近 
似 解 为 一 个 向 量 ) 


来 逐渐 通 近 准确 解 x* . 如 果 相 邻 的 近似 解 之 间 满 足 某 种 固定 的 函数 关系 ,这 种 方法 称 为 固 
定格 式 迭 代 法 (stationary iterative method). 类 似 于 不 动 点 迭代 法 ,考虑 到 与 原始 线性 方程 
组 的 等 价 关系 以 及 每 一 步 迭 代 的 计算 量 , 解 线性 方程 组 的 固定 格式 迭代 法 一 般 具 有 如 下 和 较 
简单 的 形式 : 

2 = Bro 二 f, (有 一 0 17)， (4.1) 
其 中 ,B 为 党 矩阵 , 称 为 迭代 答 阵 , 耻 为 常 向量 . 一 旦 给 定 初始 解 ,根据 式 (4. 1) 可 逐个 计算 
出 近似 解 ,相应 的 迭代 法 称 为 1 阶 定常 迭 代 法 .“1 阶 ” 指 x**? 仅 依赖 于 前 一 个 近似 解 x ， 
“定常 ” 指 迭 代 计 算 公 式 中 的 和 矩阵 与 向 量 在 迭代 过 程 中 保持 不 变 . 下 面 给 出 算法 描述 . 


算法 4.1: 1 阶 定常 迭代 法 . 

输入 ; x 中 ,B,Jf; 输出 :; 

x :tS 

While 不 满足 收敛 条 件 do 
x :=Bx++f; 

End 
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4.1.2 1 阶 定常 迭代 法 的 收敛 性 


对 于 1 阶 定常 迭代 法 ,( 见 式 4. 1) ,要 使 其 迭代 收敛 的 解 是 原 方 程 Ax 二 5 的 解 , 则 必须 
满足 如 下 等 价 关 系 : 


Ax=b x= Br/f, (4.2) 
这 里 考虑 的 系数 矩阵 4AER'"”", 且 为 非 奇异 矩阵 . 我 们 关心 的 问题 是 : 由 迭代 法 (4. 1) 得 到 
的 近似 解 序列 {x® } 是 否 收敛 ?如 果 收 敛 , 它 的 收敛 速度 如 何 ? 
设 准 确 解 为 x” ,近似 解 的 误差 为 
ES 三 一 


考虑 到 x* 满足 方程 一 Bx 十 了 , 则 


ed 一 Xe 一 X 一 Br 一 Br =Be®, (k=0,1,.), (4. 3) 
公式 (4. 3) 是 误差 的 递 推 关 系 式 . 因此 ， 
ew = Bo. (4. 4) 
一 般 初始 误差 e” 天 0 ,要 保证 1 阶 定常 迭代 法 收 和 敛 ,需要 迭代 矩阵 的 过 序列 { 素 } 的 极限 为 
零 矩阵 , 即 及 一 0， 


为 了 严格 地 讨论 这 个 问题 , 先 补充 有 关 和 抢 阵 序列 极限 与 谱 半 径 的 一 些 知识 . 
1. 预备 知识 
定义 4.1: 设 和 矩阵 42 三 (a 史 )ER" ,一 0,1,… 形 成 一 个 矩阵 序列 ,矩阵 4=(ay )E 
R"x"”, 若 有 
ina 六 =ajy, (i,j = 1,,n) 
则 称 序列 {A4®} 收 敛 于 A， 记 作 lim4” =A. 
从 定义 看 出 ,矩阵 序列 的 极限 是 通过 各 和 矩阵 元 素 的 极限 定义 的 . 这 与 第 3 章 对 向 量 极 
限 的 定义 (定义 3.8) 完 全 相似 . 
下 面 通过 几 个 定理 说 明 用 矩阵 的 算 子 范 数 判断 矩阵 序列 收敛 性 的 重要 结论 . 首先 介绍 
矩阵 范 数 的 等 价 性 , 它 与 向 量 的 范 数 等 价 性 (定理 3.7) 完 全 类 似 . 
定理 4.1: 存在 常数 c ,cs >0, 使 对 任意 4E 忆 ”和 任意 一 种 算 子 范 数 外 。 | ,, 有 
alAl,. < lAl,<ce lAl.. 
【证 明 】 由 定理 3.7 知 ,存在 常数 di ,qd >0, 使 对 YxzER", 使 wxzl- 过 | x1, 过 
ds | x | <- ，, 则 


由 14z1。 lArl, dlAarl. 


dlAarl|s, <lArl,<dlArl|. = 
11 | ne | | “ny | | d; | xj Se xl, =D di | xi 


取 x 为 使- 于 达到 最 大 值 的 那个 向 量 ,这 个 最 大 值 就 是 1 4 1 ，, 则 
ds | Ax | 
141,< 扫 上 


类 似 地 可 证 明 | 4 | :> 全 141。, 记 一 全 ,一 至, 则 有 


all4l- 科 141 入 c 141-. 国 
定理 4. 2: 设 A 二 (aP)ER"™",k=0,1,…,A=(ajy) ER™", 则 limA® 一 4 全 
天 -co 


他 
=。 
< 他 141 


和 
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lim| 4” 一 A1, 二 0, 1‖ 。 1, 表示 任意 一 种 算 子 范 数 . 
【证 明 】 思路 是 先 证 明 在 ==- 范 数 情况 下 成 立 ,再 利用 矩阵 范 数 的 等 价 性 . 
先 证 过 方向 的 命题 : 已 知 lim4w 一 人 ,要 证 明 lim | 4 一 A| -一 0. 


因为 lim4@ 一 人 ,所 以 Ye>>0, 或 二 >>0， 3N; ,使 得 对 所 有 A 之 Ni ， 


| a® —ay | 二 二 ， Ci = lsn), 


那么 , 取 NN 二 maxNs , 则 对 所 有 kN 有 |aP 一 as | 一 二. 
=> 2 1a al<e, G=1,.,n) 
了 了 


一 ”max>y | oa 史 一 由 |<e, 即 1 4 一 4 -一 s. 
根据 这 个 s-N 命题 ,说 明 lim | 4 一 4 | ,=0. 
koo 
一 方向 命题 的 证 明 , 即 已 知 lim | 4% 一 A ,==0, 要 证 limA% 一 4, 作 为 思考 题 留 给 
K-~=co k=o0 

读者 . 

根据 矩阵 范 数 的 等 价 性 (定理 4.1), 有 

cl142 一 人- 委 142 一 4 委 c 1492 一 4 ， (cycs 之 0) 

车 lim 上 14® 一 4A。=0, 则 kk 一 co 时 ,ci 42 一 4 -和 ec 4 一 A 的 极限 均 为 0, 根 据 
序列 极限 的 知识 ,可 推出 lim | A” 一 A ,二 0. 反 过 来 ， 


二 14w 一 4 入 14 一 4 -二 二 14w 一 人 1， 
1 


若 lim 142 一 4 ,二 0, 同样 可 证 明 lim 42 一 4 -=0, 即 两 者 存在 等 价 关 系 . 综 上 所 述 ， 
定理 4. 2 得 证 . 国 

关于 定理 4.2, 可 将 它 与 第 3 章 的 定理 3. 8 做 比较 ,后 者 讨论 的 是 向 量 序列 收敛 的 等 价 
条 件 , 两 者 的 结论 一 致 . 

定理 4.3; 设 A®=(a%)ER"*"， k=0,1,.,limA® =A 今 ” 对 任意 向 量 xE R" 都 
有 limA™ x=Ax. 

这 个 定理 的 证 明 思 路 是 根据 矩阵 序列 .向 量 序列 收敛 的 定义 ( 即 各 分 量 对 应 的 实数 序列 
的 收敛 性 ) ,然后 选取 合适 的 x 可 简化 证 明 过 程 ,详细 过 程 留 给 感 兴趣 的 读者 思考 . 应 注意 
的 是 ,定理 4.3 给 出 了 矩阵 序列 收敛 的 男 一 个 等 价 条 件 , 它 对 向 量 序列 来 说 则 没有 意义 . 

下 面 介 绍 和 矩阵 谱 半 径 po(4) 的 定义 . 

定义 4.2: 设 和 矩阵 AER"”" 的 特征 值 为 A;,(i 王 1,…,n) 称 


02(4) = max | Ai | 


为 A 的 谱 半 径 (spectral radius). 
例 4. 1( 和 矩阵 的 谱 半径 ): 求 下 述 矩 阵 的 谱 半 径 : 


1 0 0 
Q 二 并 
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【 解 】 先 根据 行列 式 det (XI 一 A) 二 0 列 出 特征 方程 为 
hl 

因此 矩阵 特征 值 为 1. 二 1,X%s 二 1 十 i,hs 二 1 一 i, 这 里 i 表示 虚数 单位 . 根据 谱 半 径 的 定义 得 ， 
02(A) 一 V2. 国 

下 面 的 定理 给 出 谱 半 径 的 性 质 . 

定理 4.4: 若 矩 阵 AE R””, 则 

(1) 矩阵 4 的 谱 半径 不 超过 4 的 任 一 种 算 子 范 数 , 即 o(4) 三 上 41. 

(2) 若 4 为 实 对 称 矩 阵 , 则 ‖ 4 1 :=o(C4). 

结论 (1) 的 证 明 很 简单 ,只 需 考虑 矩阵 算 子 范 数 的 几何 意义 与 特征 值 的 含义 . 结论 (2) 
的 证 明 需 利用 定理 3. 10, 具 体 过 程 留 给 感 兴趣 的 读者 思考 . 

定理 4.5: 设 B=(b;)€ RW , 则 limB* 二 0 SS p(B)<I. 

此 定理 的 严格 证 明 需 使 用 矩阵 的 若 当 标准 型 ,下 面 仅 考虑 矩阵 吾 可 对 角 化 的 简化 情 
况 . 设 B 二 X X ,其 中 ， 为 B 的 特征 值 组 成 的 对 角 阵 , 则 B* 二 XX “X71! ,很 容易 理解 (B*} 


的 极限 为 零 矩阵 等 价 于 “全 二 -0, 而 它 的 等 价 条 件 是 ”的 每 个 对 角 元 的 模 都 小 于 1, 即 
p(B) 二 1. 完整 的 证 明 过 程 留 给 感 兴趣 的 读者 补充 ,也 可 以 参考 文献 [8]. 

2. 1 阶 定常 迭代 法 基本 定理 

定理 4.6(1 阶 定常 迭代 法 基本 定理 ) : 设 有 1 阶 定常 迭代 法 

R= BX fy (ks ly)s 

其 中 ,1 一 B 为 非 奇 异 矩 阵 , 则 对 任意 初始 向 量 * "迭代 法 得 到 的 解 序列 {4x” } 都 收银 的 充 要 
条 件 是 谱 半径 p(B) 二 1. 并 且 ,序列 {x} 的 极限 x* 必定 是 方程 x 二 Bx 十 了 的 唯一 解 . 

【证 明 】 先 证 明 充 分 性 , 即 根据 p(B) 二 1, 证 明 对 任意 x” ,1 阶 定常 迭代 法 得 到 的 近似 
解 序 列 {x}) 收 敛 . 

由 于 1 一 B 为 非 奇异 矩阵 ,方程 x 二 Bx 十 f 有 唯一 解 x” (实际 上 ,这 也 可 以 由 p(B) 过 1 
的 条 件 推出 ). 设 


ee 


则 eS 二 Bte'% ,由 定理 4.5 知 ， limB =0, 结合 定理 4. 3 推出 lime” 一 0, 即 向 量 序列 {x®} 
收敛 到 x*. 

再 证 必要 性 , 即 根据 向 量 序列 {x'%2 } 对 任意 x* 都 收敛 ,证 明 po(B) 一 1. 

设 limx 三 x* , 易 知 x* 是 方程 x 二 Bx 十 了 的 唯一 解 ( 由 于 1 一 B 非 奇异 ), 因 此 对 任意 
x'% 及 其 对 应 的 误差 ee 都 有 ,ew = 二 Bie 一 0, (Rk 一 oo0). 根据 定理 4.3 得 出 limB* 二 0, 再 
根据 定理 4.5 得 ,o(B) 一 1. 

关于 x* 是 方程 x 二 Bx 十 了 的 唯一 解 的 证 明 已 包含 在 上 述 证 明 中 ,不 再 重复 . 图 

对 这 个 定理 说 明 几 点 . 

(1) 定理 的 结论 是 对 任意 的 初 值 "迭代 法 都 收敛 , 它 是 一 种 全 局 收敛 的 概念 . 

(2) 定理 的 一 个 前 提 条 件 是 I 一 下 为 非 奇异 矩阵 ,这 很 自然 也 很 重要 , 它 反 映 了 迭代 法 
是 通过 对 方程 Ax 一 六 等 价 变换 得 到 的 ,而 A 非 奇 异 . 而 且 , 若 这 个 条 件 不 满足 ,无 法 证 明 必 
要 性 (考虑 B==I、f==0 的 情况 ). 

(3) 注意 定理 给 出 了 充 要 条 件 ,因此 可 通过 迭代 和 矩阵 的 特征 值 ( 谱 半 径 ) 判 断 1 阶 定常 
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迭代 法 的 收敛 性 . 
例 4.2( 和 迭代 法 的 收敛 性 ) : 迭代 法 解 线性 方程 组 的 弟 推 公式 为 : 
xD 一 Br® +f, (k=0,1,.), 


其 中 ,| -|] ,三 |- | , 试 间断 该 迁 代 法 的 收 俩 性 
【 解 】 首先 ,1 一 B 为 非 奇异 矩阵 ,再 看 矩阵 也 的 特征 方程 detQf 一 B) 一 妨 一 6 一 0, 因 此 
p(B) 二 V6 之 1. 根据 定理 4.6 知 ,该 迁 代 法 对 任意 的 初始 值 不 一 定 收敛. 国 
下 面 的 定理 给 出 了 和 迭代 法 收 伊 的 充分 条 件 . 
定理 4.7: 设 待 求解 的 线性 方程 组 为 x 二 Bx 十 f, 对 应 的 1 阶 定常 迭代 法 的 计算 公式 为 
X= Br (= 01y), 
若 B 的 某 种 算 子 范 数 1B 一 g 二 1, 则 
GD) 此 工 阶 定常 迭代 法 对 于 任意 的 初始 解 x" 都 收 化 
62) 上 x9 一 x* | 过 gx" 一 x* | ,其 中 ,x* 为 原 方程 的 准确 解 


(3) | XO—x* | < 这 | CD xD | 


(4) | x x* | 过 和 | X9D 一 XCO | 


利用 定理 4. 6 以 及 谱 半径 与 算 子 范 数 的 关系 ,很 容易 证 明 出 结论 (1). 而 对 结论 (2) 一 
(4) ,利用 算 子 范 数 的 性 质 也 不 难 证 明 , 其 中 ,结论 (4) 与 定理 2.4 的 结论 非常 类 似 ,可 通过 类 
比 来 一 同 记忆 . 具体 的 证 明 过 程 留 给 感 兴趣 的 读者 思考 . 

定理 4.7 的 结论 (3) 说 明 相 邻 解 之 差 的 若干 们 是 迭代 解 误差 的 上 限 . 这 相 邻 解 之 差 构 
成 了 第 2. 4. 3 节 讨 论 过 的 所 谓 ” 误 差 判 据 ”, 这 里 的 不 同 之 处 只 是 用 向 量 范 数 代替 了 标量 的 
绝对 值 . 当然 ,实际 应 用 中 为 了 处 理 ‖ x” || 0 情况 , 常 使 用 相 邻 迭代 解 之 差 的 相对 量 作 
为 迭代 的 判 停 准则 ,例如 : 


| x® 一 xD | 


[| 医 二 二 | 
但 是 当 xzl 时 ,定理 4.7 结论 (3) 中 的 了 >1 ,上 述 判 据 变 得 不 可 靠 . 与 求解 非 线 性 方程 


一 样 , 还 可 以 使 用 残 差 判 据 , 应 考虑 相对 残 差 (relative residual) 的 大 小 ,得 到 相对 残 差 判 据 : 


1 2 一 4Ax…” | 
T < (4.6) 


相 比 式 (4.5), 式 (4.6) 的 计算 量 大 一 些 . 在 线性 方程 组 的 迭代 解法 中 使 用 何 种 判 停 准则 ,应 
考虑 算法 效率 、 待 求解 问题 的 特点 等 因素 ,而 且 还 常 指定 最 大 迭代 次 数 ,防止 算法 不 收敛 造 
成 的 “ 死 循 环 ”. 


4.1.3 收敛 阶 与 收敛 速度 


从 数学 理论 上 来 看 ,本 章 讨论 的 迭代 法 与 求解 非 线 性 方程 . 非 线 性 方程 组 的 迭代 法 有 很 

多 相同 之 处 ,1 阶 定常 迭代 公式 (4.1) 实 际 上 是 不 动 点 迭代 公式 (2. 8)、 公 式 (2. 22) 的 特例 . 

这 里 讨论 的 迭代 矩阵 B 就 是 不 动 点 迄 代 公 式 (2. 22) 的 雅 可 比 矩 阵 , 因此 定理 4. 6 和 

定理 2. 10 是 保持 一 致 的 . 第 2. 3.4 节 介 绍 了 不 动 点 迭代 法 的 收敛 阶 ,其 概念 可 应 用 于 求解 线 
“LL6 


a. (4.5) 
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性 方程 组 的 迭代 法 ,只 需 将 近似 解 由 标量 变 为 向 量 ,并 且 通 过 向 量 范 数 计算 误差 的 大 小 . 
定义 4.3: 设 和 迭代 解 序 列 为 {x” ),x” ER", 它 收敛 到 向 量 x*. 若 在 某 种 向 量 范 数 意 
尺 Ps 


(k+l1) | (k+1) * | 


| en 
[Ea 


| e 


Te 


常数 c 取 0, 则 生 渤 代 过 程 是 2 阶 收敛 的 ,或 收敛 阶 为 p. 
下 面 讨论 1 阶 定常 迭代 法 的 收敛 阶 , 并 定义 一 种 具有 直观 意义 的 收敛 速度 的 概念 假 
设 迭 代 和 矩阵 B 的 n 个 特征 值 按 模 从 大 到 小 依次 为 
> 玉芝 1 和 | 这 | 下 
这 里 ,1 二 | | 是 为 了 保证 迭代 法 收敛 . 为 了 简化 讨论 ,假设 矩阵 吾 可 对 角 化 , 则 上 述 特征 值 
对 应 n 个 线性 无 关 的 特征 向 量 避 ,ws ,… ,wu , 则 
Ba; = Nu SS Bu = Ni (EE yn 


= 一 


将 初始 误差 e® 用 特征 向 量 w ,ws，… ,wu 的 线性 组 合 表示 , e'" 二 》)aui, 根据 式 (4. 3) ,第 
i=1 
次 迭代 解 的 误差 为 
e® = Bie® = >)aiB4 = > af (4.7) 
FE t= 


着 迭代 步 的 增加 ,上 述 组 合 中 各 成 分 的 衰减 情况 如 表 4-1 所 示 . 


表 4-1 。” 中 各 成 分 随和 迭代 过 程 的 衰减 情况 


第 一 个 成 分 衰减 得 最 慢 ,每 迭代 一 步 它 的 大 小 变化 比例 为 1) | 一 o(CB). 


根据 式 (4.7), 容 易 推 出 im 和 几 一 oCB)， 即 1 阶 定常 交代 法 为 1 阶 收 全 这 里 省 


略 详细 的 推导 过 程 , 以 及 对 矩阵 召 不 可 对 角 化 情形 的 讨论 ,后 者 的 结论 与 矩阵 吾 可 对 角 化 
时 的 一 样 . 根据 表 4-1, 考 虑 如 何 使 衰减 最 慢 的 误差 成 分 缩小 1/10 ,所 需 的 迭代 步 数 满足 


1 
大 
[p(B <i 


推出 
= 1 
pe- 一 
人 logioo(B) 一 logoo(B) ee 
它 说 明 eed sa 就 越 小 . 因此 ,一 logop(B) 可 作为 刻画 1 阶 定常 迭代 


法 收敛 速度 的 一 


定义 4.4: ee 代 法 ze 一 Bxo 十 了 的 渐进 速度 ,简称 收敛 
速度 . 
从 公式 (4.8) 还 可 以 看 出 ， ,一 ogc 为 训 碱 最 慢 的 误差 成 分 缩小 10 倍 所 需 的 迭代 步 
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数 ,或 者 说 在 极限 情况 下 近似 解 取得 1 位 十 进 制 精度 所 需 的 迭代 步 数 . 因此 ,收敛 速度 
民 二 一 logiop(B) 就 是 极限 情况 下 一 步 迭 代 所 取得 的 十 进 制 精度 位 数 ,这 是 它 的 直观 含义 . 

最 后 强调 的 是 ,p(B) 是 衡量 1 阶 定常 迭代 法 收敛 性 的 关键 参数 , 既 判 断 是 否 收 化 ,又 决 
定 收 敛 速 度 . 


4.2 经 典 返 代 法 


设 待 求解 的 线性 方程 组 为 
Ax = b,， (4.9) 

其 中 ,AE R"*" ,为 非 奇异 矩阵 . 构造 求解 方程 (4.9) 的 1 阶 定常 迭 代 法 时 , 需 首 先 满足 等 价 
条 件 (4.2). 具体 的 构造 方法 基本 上 都 可 归纳 为 “分 裂 法 ”(splitting method). 

分 裂 法 的 基本 思想 是 将 矩阵 4 分 裂 为 两 个 矩阵 之 差 的 形式 : 

A=M—N, 
其 中 ,和 矩阵 M 非 奇 异 . 那么 
Ax=b Mxr—Nx=b © x=MiNr+M'b, 

令 B 二 M7'N,f 王 M 'b, 则 得 到 1 阶 定常 迭代 法 公式 (4.1). 

选取 不 同 的 矩阵 M, 可 得 到 不 同 的 授 代 法 . 要 获得 计算 效率 较 高 的 迭代 法 ,可 从 收敛 速 
度 和 计算 量 两 个 方面 进行 分 析 . 考察 迭代 和 矩阵 

B=M'N=M‘'M—A)=I—M'A, 

要 得 到 较 高 的 收敛 速度 就 要 使 op(B) 尽 量 小 ,或 者 说 希望 B 接近 于 零 和 矩阵 ,在 某 种 意义 上 
MA. 另 一 方面 ,迭代 的 每 一 步 需 计算 M1(Nx 十 四, 因此 希望 以 M 为 系数 矩阵 的 方程 
易于 求解 (一 般 用 高 斯 消去 法 ), 即 在 某 种 意义 上 M 为 很 简单 的 矩阵 ,这 样 才能 保证 每 步 的 
计算 量 很 小 上 述 两 方面 的 要 求 往 往 是 相互 抵触 的 ,因此 选取 合适 的 矩阵 M 实际 上 是 很 困 
难 的 问题 . 

下 面 介 绍 三 种 经 典 的 1 阶 定常 迭代 法 公式 ,通过 它们 说 明 算 法 的 具体 细节 . 


4.2.1 雅 可 比 迭代 法 


为 了 描述 方便 , 先 以 3 阶 方程 为 例 给 出 雅 可 比 迭代 法 的 计算 公式 . 考虑 如 下 线性 方 
程 组 : 


al 十 aizZa 十 ala7as 一 hh 
QaiXi 十 azzZz 十 azs = bo. 《4 OY 
aa3slZl 十 aazZz 十 aaa 一 03 
设 系数 矩阵 的 主 对 角 元 均 不 等 于 零 , 即 a; 关 0,i 二 1,2,3. 那么 可 改写 上 述 方程 为 如 下 等 价 
形式 : 


一 一 1 aizZ2 十 al3s ) 十 i 
all all 
1 D2 
Xz =—— (aziX1 十 azs7zs ) 十 一. 人 
Q22 Q22 
yy 三 一 a ds2 Ts ) 十 色 
Qa33 CQ33 
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根据 方程 组 (4. 11) 可 得 到 一 种 迭代 计算 公式 ,即将 “二 ”右边 的 未 知 量 看 成 当前 迭代 步 
的 近似 解 ,而 “二 ”左边 的 量 为 下 一 步 的 迭代 解 ， 


XD 一 一 1 a x a rl? ) 牛 :8 
QI11 U1l 
XID 一 一 1 (az 十 az ) 十 bs (4. 2 
22 U22 
zt 一 一 ee 生 
这 样 得 到 的 迭代 法 就 是 雅 可 比 (Jacobi) 迭代 法 ,公式 (4. 12) 为 雅 可 比 迭 代 法 的 分 量 迭 代 
公 云 ， 
下 面 将 上 述 3 阶 方程 的 解法 推广 到 一 般 情 况 , 先 把 系数 矩阵 4 写成 如 下 形式 : 
4 一 也 一 区 一 吕 ， (4. 13) 
其 中 ,了 LU 分 别 为 对 角 阵 、 严 格 下 三 角 阵 和 严格 上 三 角 阵 ,例如 对 于 3 阶 和 矩阵 有 
Qill 0 0 0 0 0 和 ”一 
-| a22 | L= |— a 0 Qs -| 0 一 qzs |. 
0 0 a33 一 al 一 az 0 0 0 0 
假设 a; 取 0, 则 D-! 存 在 ,与 分 量 表达 式 (4.12) 相 对 应 , 雅 可 比 送 代 法 的 计算 公式 为 
0 Di(L+Ux® +Db. (4.14) 
显然 公式 (4. 14) 符 合 1 阶 定常 迭代 法 的 一 般 形式 (4.1), 即 x1? 二 Bx% 十 ,对 应 的 


B=D-!1(L+U),f=D-'b. ep 种 分 裂 法 , 设 4=M 一 N, 则 它 对 应 的 
M==D,N=L++U. 下 面 给 出 雅 可 比 授 代 法 的 算法 描述 . 


算法 4.2: 雅 可 比 迭 代 法 . 
输入 : x,A,b; 输出 :x. 
While 不 满足 判 停 准则 do 
De 
For i1=1, 2, .…,n 


a n 
= (6: = Dj asyi 3 3 ) fs ; 
j=1 | 
End 
End 


为 了 表达 方便 ,算法 4.2 中 假设 矩阵 A 按 稠密 矩阵 方式 存储 ( 即 二 维 数组 ) ,其 中 ,计算 
公式 与 分 量 迭 代 公式 (4. 12) 相 对 应 ,一 维 数组 记录 上 一 步 的 迭代 解 向 量 , 而 x 为 当前 解 向 
量 . 相 比 含有 矩阵 的 公式 (4. 14) ,根据 分 量 计算 公式 推导 算法 容易 得 多 . 若 4 为 稀 玻 矩阵 ， 
计算 zx; 的 公式 应 修改 ,只 需 按 行 遍历 和 矩阵 第 ; 行 的 非 零 元 . 无 论 哪 种 情况 ,每 步 迭 代 的 计算 
量 都 相当 于 计算 一 次 矩阵 与 向 量 的 乘法 ,并 且 计 算 中 不 改变 矩阵 A. 


4.2.2 高 斯 - 赛 德 尔 和 迭代 法 


我 们 仍 以 方程 (4. 10) 为 例 介绍 高 斯 - 赛 德尔 (Gauss-Seidel) 选 代 法 ,也 简称 G-S 迭代 法 . 
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假设 矩阵 对 角 元 a; 关 0,i 二 1,2,3, 先 将 原 方程 改写 为 公式 (4. 11) 的 形式 , 则 G-S 迭代 法 的 
分 量 迭 代 计 算 公 式 为 


1 
= cd 多 十 az 所) 二 全 
U1l 
1 
A 十 azszgo ) 十 be . (4.15) 
U22 U22 
CHD (CHD (EHD bs 
3 一 一 (aaslZi "Tass Xs ) 十 一 
Q33 U33 


公式 (4.15) 与 雅 可 比 迭代 法 的 公式 (4. 12) 非 常 类 似 ,只 是 在 计算 下 一 步 迭 代 解 的 第 二 、 
第 三 个 分 量 时 使 用 了 刚刚 计算 出 的 前 几 个 分 量 ,而 不 是 用 前 一 步 迭 代 解 中 的 值 ,这 种 在 计 
算 第 & 十 1 步 近似 解 的 第 i 个 分 量 时 使 用 它 的 前 i 一 1 个 分 量 的 做 法 正 是 G-S 迭代 法 的 关键 
之 处 , 它 也 说 明 使 用 G-S 迭代 法 需 按 从 1 到 n 的 顺序 依次 算出 迭代 解 的 各 个 分 量 . 
推广 到 一 般 的 情况 , 仍 将 矩阵 4 写成 
A=D—L—U, 
则 与 分 量 迭 代 格 式 (4. 15) 相 对 应 ,G-S 迭代 法 的 迭代 计算 公式 为 
x = D1(Lxt) +Ux®)+ Dib. (4. 16) 
为 了 得 到 迭代 法 的 一 般 形式 (4. 1) ,将 (4. 16) 等 号 两 边 同 乘 D, 有 
Dret 一 LExt 十 Ux 十 = (D 一 LE)xeh) =Ux®+b, 
由 于 了 一世 为 对 角 元 不 为 零 的 下 三 角 和 矩阵 ,必定 非 奇异 , 则 有 
xD 一 (D—D Ux® +(D— Lb. 《下 Hb 
rb i ptosis SN 式 , 它 对 应 的 迭代 和 矩阵 B= (D 一 L)“'U, 常数 向 量 
f= 二 (D 一 L) !b.G-S 迭代 法 也 可 以 通过 分 裂 法 来 构造 , 设 4=M 一 N, 则 对 应 的 M= 
D—L,N=U. 
下 面 给 出 高 斯 - 赛 德尔 迭代 法 的 算法 描述 . 


算法 4.3: 高 斯 - 赛 德 尔 迭 代 法 . 
输入 : x,A,b; 输出 : x. 
While 不 满足 判 停 准则 do 

For i=1, 2,%…, nn 


二 1 n 
Xi :三 (到 一 Sam Sa es 
j=1 j= 计 1 
End 
End 


算法 4. 3 仍然 只 考虑 了 4 为 稠密 矩阵 的 简单 情况 ,对 于 稀 玻 矩阵 ,与 算法 4. 2 一样 只 需 
遍历 4 的 非 零 元 与 雅 可 比 迭代 法 相 比 ,G-S 友 代 法 不 再 需要 使 用 额外 变量 来 保存 上 一 步 
的 迭代 解 , 而 在 计算 量 上 两 种 方法 几乎 一 样 ， a he ald 对 
照 矩 阵 迭 代 公 式 (4. 17) 还 可 以 看 出 ,按照 分 量 和 迭代 公式 得 出 的 算法 4. 3 要 简洁 得 多 . 

例 4.3(Jacobi 迭代 法 与 G-S 和 迭代 法 ) : 用 雅 可 比 迭 代 法 与 高 斯 - 赛 德尔 迭代 法 求解 线性 
方程 组 
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10 3 1 rz 14 
1 3 6d Ls 14 


其 准确 解 为 L1,1,1]j", 设 定 迭 代 初 始 值 为 L0,0,0]" ,要 求解 分 量 的 误差 小 于 10. 
【 解 】 对 本 例 , 雅 可 比 迭 代 法 的 计算 公式 为 


14 
rf 一 一 6 ( 3 站 非 = 芝 从 让 年 五 
(CA 二 1) 1 (k) (k) 3 5 
3 一 一 二 022 十 37s De 
(KtD) 一 1 (有 (有 14 
Xs 16 (i 二 3 ) 十 五 


经 过 8 次 迭代 算法 收敛 ,近似 解 为 L1,0001,0.9991,1.0001]", 它 符合 题目 中 的 误差 要 求 . 
采用 高 斯 - 赛 德尔 迭代 法 ,计算 公式 为 


(k++1) es Gl (k) (k) 14 
Zi 二 2 ( 3z2° 十 23 ) 十 五 
HU 二 三 1 (27tt) 十 3zgo ) 十 二 者 

2 一 0 1 3 = 10” 

(k+1) es 1 (kt+1) (k++1) 14 
zs 16 C0 3 ) 十 生 


经 过 5 次 近 代 算法 收敛 ,近似 解 为 [0. 9998,0. 9998 ,1. 0001]7. 

对 于 这 个 例子 ,两 种 迭代 法 均 收敛 ,而 且 从 结果 看 出 高 斯 - 赛 德 尔 迭 代 法 要 比 用 雅 可 比 
迭代 法 收敛 快 . 国 

最 后 再 说 明 两 点 : 

(1) 如 果 改 变 高 斯 - 赛 德尔 迭代 法 的 分 量 计算 顺序 (例如 改 为 从 到 1), 可 推导 出 男 一 
种 迭代 法 . 特别 地 ,车 在 每 个 迭代 步 中 先 按 从 1 到 的 顺序 计算 一 遍 解 分 量 ,再 用 同样 的 方 
法 按 从 nn 到 1 的 顺序 计算 一 遍 , 则 得 到 的 迭代 法 称 为 对 称 高 斯 - 赛 德尔 方法 (简称 SGS 方 
法 ) , 若 和 矩阵 4 对 称 则 这 种 方法 对 应 的 M 矩阵 也 是 对 称 阵 . 

(2) 与 高 斯 - 赛 德尔 迭代 法 不 同 , 雅 可 比 迭代 法 在 计算 下 一 个 近似 解 的 各 个 分 量 时 没有 
先后 顺序 之 分 ,比较 适合 并 行 计算 . 


4.2.3 ”逐次 超 松 弛 和 迭代 法 
逐次 超 松 弛 和 迭代 法 (successive over relaxation method, 简 称 SOR 迭代 法 ) 是 高 斯 - 赛 德 


尔 迭 代 法 的 推广 ,下 面 仍然 以 方程 (4. 10) 为 例 介绍 其 分 量 计算 公式 . 
首先 看 G-S 迭代 法 的 分 量 计算 公式 ,例如 公式 (4. 12) 中 的 第 一 个 式 子 


ss 二 (oem 十 aaszi2 ) 十 全， 
这 里 使 用 符号 1*? ,以 便 与 后 面 将 给 出 的 SOR 迭代 公式 中 的 符号 相 区 别 . SOR 迭代 法 的 
做 法 是 计算 X41? 与 前 一 步 迭代 解 z® 的 加 权 平 均 ,得 到 下 一 步 迭 代 解 
tp = (1 wz + os, (4. 18) 
其 中 ,w 称 为 松弛 因子 (relaxation factor). 类 似 地 ,SOR 方法 的 分 量 计算 公式 如 下 : 
® LT2L.% 
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U12 (PD Q13 (CD bi 
Se ol 2 | 
Q11 U1l Qll 
Q21 C23 D2 
2 = a to(— ex +) . (4.19) 
U22 U22 U22 
U31 1 U32 k+l bs 
(一生 一 和 4 
U33 U33 U33 


从 公式 (4.19) 看 出 ,若松 弛 因子 w 王 1,SOR 迭代 法 就 是 G-S 迭代 法 ,而 当 w= 二 0,SOR 迭代 
法 变 得 没有 意义 (迭代 解 不 会 变化 ). 
下 面 推 导 一 般 情 况 下 SOR 迭代 法 的 公式 , 仍 使 用 4 的 分 解 式 (4. 13), 与 分 量 迭 代 
式 (4.19) 相 对 照 ,得 到 以 下 公式 : 
Xe = (1—wx® oD Lx 十 DTIUx +D!b], 
等 号 两 边 同时 左 乘 D, 得 到 
Dx =(1—w)Dx® woLx tt? woUx® twb 
之 (D 一 oFL)xo =[(1—w D+oUx® 十 op ， 
由 于 D 一 wL 为 对 角 线 元 素 不 为 零 的 下 三 角 和 抢 阵 ,必定 非 奇异 , 则 有 
XctD 一 (DwL) (1 mw D+oU lx® + (DowL) wb. (4. 20) 
根据 式 (4. 20) 可 以 写 出 SOR 迭代 法 对 应 的 迭代 和 矩 阵 B 和 向 量 f.， SOR 迭代 法 也 可 以 通过 
分 裂 法 来 构造 , 先 改写 公式 (4. 20) 为 
i ” 


wt 


设 A 二 M 一 N, 则 SOR 迭代 法 对 应 的 M 2D L,N=( 志 -1)pD+U. 
下 面 给 出 SOR 迭代 法 的 算法 描述 . 


算法 4.4: SOR 迭代 法 . 
输入 : x,A,b,w; 输出 : 和 
While 不 满足 判 停 准则 do 


OT 2 


| n 
0 (1 CD +ow(6: DD 3 Da ) es 
j=1 一 计 1 
End 
End 


算法 4.4 与 算法 4. 3 几乎 一 样 , 只 是 增加 了 松弛 因子 w 的 有 关 计 算 ,增加 的 计算 量 非常 
小 . 另外 注意 ,SOR 近代 法 的 前 提 条 件 与 前 两 种 方法 一 样 ,都 是 矩阵 A 的 对 角 元 不 能 为 零 . 
而 且 SOR 方法 也 需要 按 从 1 到 的 顺序 计算 解 的 各 个 分 量 . 如 果 在 每 个 迭代 步 中 先 按 从 1 
到 的 顺序 计算 解 分 量 , 再 按 从 n 到 1 的 顺序 更 新 一 遍 解 分 量 , 将 得 到 对 称 SOR 方法 (简称 
SSOR 方法 ) ,对 于 对 称 的 矩阵 4, 它 对 应 的 M 和 矩阵 也 为 对 称 阵 . 

高 斯 - 赛 德 尔 迭 代 法 是 SOR 迭代 法 的 一 个 特例 (对 应 于 w=1) ,其 计算 过 程 也 可 以 解释 
为 对 近似 解 的 逐次 修正 , 即 

ZT? 二 xz 十 (校正 值 );， (i 二 1,2,…,n). 
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下 面 根据 公式 (4. 15) 来 说 明 这 个 “(校正 值 );” 的 含义 ,看 第 二 个 分 量 的 计算 公式 , 则 


U21 Q23 D2 
(校正 值 ); 一 一 各? 一 zc 
22 


CQ22 U22 


(kt+1) (k) (k) 
[6s dz21XT1 G22 T2 Gd23 T3 小 


对 比 原始 方程 中 的 第 二 个 方程 azlZl 十 azz Za 十 azs Ts = bo , 它 与 当前 解 对 应 的 残 差 向 量 r 有 关 ; 


1 (KH1) (有 (有 rz 
(校正 值 ), = 一 [Lp — a x1 Q22 T2 aasZ3 = po 


进一步 研究 发 现 , 一 般 地 有 (校正 值 ); 二 ri/ai. 

对 于 SOR 迭代 法 , 它 只 是 在 上 述 公式 中 “校正 值 ” 前 乘 了 一 个 参数 w%, 即 

ztD 二 zx 内 十 w( 校 正 值 ); = xz 十 (CE 一 zx 从) 
=(1—w)zr® +wtD. 

最 后 这 个 等 式 与 公式 (4.18) 是 一 致 的 . 

根据 w 的 不 同 取 值 , 有 时 对 SOR 方法 有 不 同 的 称呼 ,例如 w 过 1 对 应 于 低 松 弛 迭代 法 ， 
而 w>1 对 应 的 是 超 松弛 和 迭代 法 . 

例 4.4(SOR 和 迭代 法 ): 用 SOR 迭代 法 求解 例 4. 3 中 的 方程 组 ,要 求解 分 量 误差 小 
于 107. 

【 解 】 SOR 迭代 法 的 计算 公式 为 


XD = (1 wr +o(- x 方 人 地 ) 
getD 《= ol 了 3 下 =%) 


ttD (ep ol l(t) 3 gtD 让 革 ) 


10 
测试 几 种 w 取 值 的 情况 ,分 别 如 下 : 

(1) 当 o=1.1 时 ,迭代 6 次 方法 收敛 ,得 到 满足 要 求 的 解 为 L1. 0005, 1. 0005， 
0.9997]7. 

(2) 当 w 二 0. 95 时 ,迭代 4 次 方法 收敛 ,得 到 满足 要 求 的 解 为 L1. 0008,0. 9999， 
0. 9999]T. 

(3) 当 w=0.6 时 ,和 迭代 9 次 方法 收敛 ,得 到 满足 要 求 的 解 为 [1. 0010, 1. 0001， 
0. 9998]. 国 

由 此 例 可 以 看 出 ,选取 不 同 的 w 值 ,SOR 迭代 法 的 收敛 速度 很 不 同 . 对 有 些 w 值 ,SOR 
迭代 法 比 雅 可 比 法 和 高 斯 - 赛 德 尔 法 收敛 得 更 快 ,但 如 果 wo 的 值 不 合适 , 则 收敛 速度 可 能 更 
慢 . 因此 ,如 何 针对 一 类 应 用 问题 求 出 最 佳 的 松弛 因子 是 一 个 重要 问题 . 


4.2.4 三 种 迭代 法 的 收敛 条 件 


根据 定理 4.6 可 知 , 迭 代 法 是 否 收敛 由 迭代 和 矩 阵 的 谱 半径 决定 ,而 谱 半径 又 不 大 于 算 阵 

的 任意 范 数 ,因此 车 迭代 和 矩 阵 B 满足 上 Bl 一 1, 则 迭代 法 一 定 收 敛 . 在 三 种 迭代 法 中 , 雅 可 

比 迭 代 法 的 迭代 和 矩 阵容 易 求 出 ,因此 可 计算 Bl, 阁 B11 则 可 以 断定 雅 可 比 迭 代 法 

收敛 . 另外 ,对 于 对 角 线 元 大 于 零 的 实 对 称 和 矩阵 ,下 面 的 定理 给 出 了 雅 可 比 迭 代 法 收敛 的 充 
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要 条 件 . 
定理 4.8: 若 4 为 ， 阶 实 对 称 和 矩阵, 且 对 角 线 元 素 a; 这 00 二 1,2,…,n), 则 求解 线性 方 
程 组 Ax=b 的 雅 可 比 迭 代 法 收敛 的 充 要 条 件 是 A 和 2D 一 4 都 正定 ,其 中 ,D 为 取出 A 的 对 
角 线 元 素 得 到 的 对 角 阵 . 
【证 明 】 先 证 明 充 分 性 ,由 于 A 的 对 角 元 均 大 于 0, 则 将 这 些 对 角 元 开 算 术 平 方 根 , 然 
后 取出 形成 对 角 阵 D? , 则 D=DiD?. 考察 雅 可 比 迭 代 法 的 迭代 矩 阵 
B=D'(L+U)= D'(D—A)= DID — DiA) 


=D + (1— D+AD-?)Di, 

上 式 说 明 矩 了 泗 1 一 D- 了 AD- 与 矩阵 B 相似 ,有 相同 的 特征 值 ， 由 于 4 为 实 对 称 正定 矩阵 ， 
D-+AD-+ 也 是 实 对 称 正定 矩阵 , 它 的 特征 值 均 为 实数 且 都 大 于 0, 因此 1 一 D-?YAD-+ 的 特 
征 值 都 小 于 1. 基于 和 矩 阵 相似 关系 , 则 B 的 特征 值 4; 二 1(i==1,2,…,n) 

男 二 方面 3 

B=D'(D—A)= Di[(2D—A)—D]=Di[D3i(2D— A)D+ —1]Di, 

通过 类 似 的 分 析 得 出 ,D- 二 (2D 一 人)D 王 的 特征 值 均 为 实数 且 都 大 于 0, 而 了 的 特征 值 与 
刀 - 寺 (2D 一 人 )D 到 一 工 的 一 样 ,它们 满足 ) 之 一 1G=1,2,…,m2).， 综合 两 方面 ,|4;| 二 1, 谱 
半径 oCB) 一 1,， 雅 可 比 迭 代 法 收敛 . 

必要 性 的 证 明 也 是 利用 上 述 两 个 矩阵 等 式 ,具体 细节 留 给 读者 思考 ,这 里 不 再 歼 述 ， 国 

对 于 高 斯 - 赛 德尔 和 SOR 迭代 法 ,迭代 和 抢 阵 的 计算 量 很 大 (与 用 高 斯 消去 法 解 原 方程 差 
不 多 ) ,因此 不 能 直接 考察 迭代 和 矩阵 来 判断 它们 的 收敛 性 . 下 面 给 出 一 个 定理 ,通过 考察 雅 
可 比 迭 代 法 迭代 和 矩阵 的 特点 断定 高 斯 - 赛 德 尔 迭 代 法 是 收敛 的 , 它 的 详细 证 明 参 见 文 
献 [16]. 

定理 4.9: 设 刀 是 雅 可 比 迭 代 法 的 迭代 和 矩阵 , 若 上 31 -< 到 1, 或 1 过 1, 则 高 斯 - 赛 德 
尔 迭 代 法 收敛 . 

在 实际 应 用 中 , 待 求解 的 线性 方程 组 Ax=b 的 系数 矩阵 常常 具有 对 角 占 优 或 对 称 正 
:性 质 , 接 下 来 讨论 解 这 些 方 程 组 时 迭代 法 的 收敛 性 . 先 给 出 可 约 与 不 可 约 答 阵 的 

定义 4.5: 设 A= (aj; ) ER"”"(n 宇 2) , 若 存在 排列 阵 忆 使 
A wl 
O 42 
其 中 ,Aun 、Azs 均 为 阶 数 不 等 于 0 的 方 阵 , 则 4 为 可 约 矩 阵 (reducible matrix) ,否则 为 不 可 约 
给 阵 . 

例 4. S( 不 可 约 和 矩阵 ): 设 4 为 如 下 的 三 对 角 和 矩阵 : 

Di a 


Pr4P 一 | 
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其 中 ,ai; bi、ci 均 不 为 零 ,而 


则 4 和 如 都 是 不 可 约 矩 阵 . 国 

根据 分 块 矩 阵 的 知识 看 出 ,求解 可 约 矩 阵 为 系数 矩阵 的 方程 组 可 化 为 依次 求解 两 个 
低 阶 方程 组 的 问题 . 下 面 的 定理 说 明 不 可 约 的 对 角 占 优 和 矩阵 (定义 见 3. 5. 2 节 ) 是 非 奇 
异 的 . 

定理 4. 10 (对 角 占 优 定理 ): 若 和 矩阵 4 为 严格 对 角 占 优 和 矩阵 ,或 者 不 可 约 的 弱 对 角 占 优 
和 矩阵 , 则 4 非 奇 异 . 

本 定理 的 证 明 留 给 读者 思考 . 注意 ,对 角 占 优 包括 按 列 和 按 行 对 角 占 优 两 种 情况 . 另 
外 ,这 个 定理 中 的 条 件 “ 不 可 约 ” 很 重要 . 例如 ,和 矩阵 


0 0 
4 一 |0 2 2 
0 2 2 


是 弱 对 角 占 优 和 矩阵 ,但 它 是 奇异 的 . 

下 面 的 定理 讨论 矩阵 A 对 角 占 优 时 迭代 法 收敛 的 充分 条 件 . 

定理 4.11: 待 求解 的 线性 方程 组 为 Ax 二 b， 

(1) 车 和 矩阵 A 严格 对 角 占 优 ,或 者 是 不 可 约 的 弱 对 角 占 优 和 矩 阵 , 则 雅 可 比 迭代 法 和 高 
斯 - 赛 德尔 迭代 法 均 收 敛 . 

(2) 若 和 矩阵 4 严格 对 角 占 优 ,或 者 是 不 可 约 的 弱 对 角 占 优 和 矩阵 , 且 松 弛 因子 0 二 w 过 1， 
则 相应 的 SOR 迭代 法 收敛 . 

【证 明 】 只 证 明 (1) 的 一 部 分 结论 , 即 当 和 矩阵 4 为 严格 对 角 占 优 时 高 斯 - 赛 德尔 迭代 法 
收敛 其 他 情况 的 证 明 参 见 文献 [16]. 

高 斯 - 赛 德尔 迭代 法 的 迭代 和 矩 阵 为 B= (D 一 L)-'U, 其 中 DLU 分 别 为 对 角 阵 、 严 格 下 
三 角 阵 和 严格 上 三 角 阵 ,并 且 A=D 一 L 一 U. 矩阵 B 的 特征 值 * 满足 特征 方程 

detQI 一 B) = detQI — (D—L) 1U) = det((D—L1)')det(A(D—L)—U)=0. 
由 于 和 矩阵 A 的 特点 , 易 知 其 对 角 元 a; 了 关 0Gi 二 1,2,…,n) , 则 det((D 一 L)-!) 关 0, 则 特征 值 X 
为 方程 


det(QAD—L)—U)=0 

的 根 . 设 C==X4(D 一 L) 一 U, 则 
Mn 
pp PE 1 7 


= 


Mm Mam Mam 
对 任意 特征 值 ,det(C) 王 0. 
下 面 要 证 明 高 斯 - 赛 德尔 迭代 法 收敛 . 采用 反 证 法 ,假设 高 斯 - 赛 德尔 迭代 法 不 收敛 , 则 
由 定理 4.6 知 ,至 少 存在 一 个 矩阵 B 的 特征 值 4,14| 宇 1, 不 妨 设 A 为 按 行 严 格 对 角 占 优 甜 
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阵 ,考察 这 个 4 对 应 的 矩阵 C 中 元 素 ， 


| 和 “> (| dj 3 Aas J las | Gi= 1,2,°%,D, 
上 式 表明 C 也 是 按 行 严 格 对 角 占 优 抑 阵 ， 再 根据 * 对 角 占 优 定理 "(定理 4. 10), 必 有 
det(C) 天 0, 从 而 产生 矛盾 , 即 证 明了 高 斯 - 赛 德尔 迭代 法 收敛 . 国 


下 面 的 定理 讨论 矩阵 4 对 称 正定 时 迭代 法 收敛 的 充分 条 件 , 对 它 的 证 明 参 见 文献 [8]、 
文献 [16]. 

定理 4.12: 待 求解 的 线性 方程 组 为 Ax 二 b， 

(1) 若 A 对 称 正定 , 则 高 斯 - 赛 德尔 迭代 法 收敛 . 

(2) 若 4 对 称 正定 , 且 0 二 w 过 2, 则 相应 的 SOR 近代 法 收敛 . 

最 后 给 出 一 个 定理 说 明 SOR 和 迭代 法 收敛 的 必要 条 件 . 

定理 4. 13: 若 求 解 线 性 方程 组 Ax= 二 b 的 SOR 迭代 法 收敛 , 则 松弛 因子 w 满足 
0=w=2. 

【证 明 】 首先 根据 式 (4. ER SOR 迭代 法 的 迭代 矩阵 B==(D 一 wL) LI 一 o) 了 十 
wU0U]j, 设 其 特征 值 为 Xi,(i 二 1,2,…,n),， 则 

| det(B) 和 | 2…h | 入 [o(CB)]. 
由 于 SOR 迭代 法 收敛 , 则 谱 半 径 poCB) 一 1， te 

男 一 方面 ,矩阵 D 一 wL 与 (1 一 w)D 十 wU 分 别 为 下 三 角 阵 和 上 三 角 阵 ,其 行列 式 为 对 角 
线 元 素 的 乘积 , 则 

det(B) = det((D—wL) 1)det((1— wD+oU) = (1 —w)". 
因此 得 出 
| (lw)"|<1 = 0<w<2. 
原 命题 得 证 . 图 

最 后 补充 说 明 两 点 . 

(1) 高 斯 - 赛 德尔 迭代 法 是 SOR 迭代 法 的 一 个 特例 ,上 述 定 理 说 明 两 种 迭代 法 收敛 有 
相同 的 充分 条 件 . 对 比 定理 4.11 和 定理 4. 12 看 出 ,这 两 种 迭代 法 比 雅 可 比 迭 代 法 的 适用 
范围 更 大 一 些 . 

(2) 除了 考虑 收敛 性 ,在 实际 应 用 中 还 应 关注 迭代 法 的 收敛 速度 , 它 受 具体 问题 ,具体 
方法 的 影响 非常 大 . 在 大 多 数 情 况 下 ,SOR 迭代 法 比 前 两 种 有 明显 的 优势 ;而 对 于 较 大 规 
模 的 问题 ,三 种 迭代 法 往往 都 收敛 得 非常 慢 


应 用 实例 : 栓 架 结构 的 应 力 分 析 


1. 问题 背景 与 数学 模型 

析 架 是 由 刚性 杆 通过 结 点 连接 而 成 的 力学 结构 , 它 通常 出 现在 桥梁 和 其 他 需要 力学 支 

的 结构 中 . 在 析 架 的 茶 些 结 点 上 施加 负荷 力 ,各 个 刚性 杆 上 将 分 配 到 一 定 的 应 力 . 图 4-1 
是 一 个 简单 的 平面 静 力 析 架 结 构 , 其 中 ,5 个 刚性 杆 通 过 结 点 A、B、C、D 相连 . 析 架 的 结 点 
人 A 为 固定 支撑 点 , 结 点 DD 由 滑轮 支撑 ,在 结 点 也 和 C 施加 外 部 负荷 (gl1， gs), 需 要 确定 各 个 
杆 上 的 应 力 大 小 . 一 般 , 相 对 于 负荷 来 说 , 杆 自身 重量 可 以 忽略 不 计 . 

要 进行 析 架 的 应 力 分 析 , 可 考虑 静 力 平衡 的 条 件 下 ,在 每 个 结 点 处 的 水 平 合力 和 竖 直 合 
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力 均 为 零 . 假设 各 个 杆 上 的 应 力 对 结 点 产生 拉力 ,由 此 
定义 应 力 的 正方 向 ,然后 根据 结 点 处 合力 为 零 列 出 线 
性 方程 组 ,求解 出 应 力 . 若 解 为 负数 ,表明 相应 的 杆 对 
结 点 产生 推力 . 这 个 线性 方程 组 的 阶 数 与 析 架 结 点 的 
数目 有 关 , 最 多 不 超过 结 点 数 的 两 倍 ,而 每 个 方程 仅 含 
少数 几 个 变量 (当前 结 点 连接 的 杆 上 的 变量 ), 因 此 , 整 
个 线性 方程 组 的 系数 矩阵 是 非常 稀 朴 的 . 而 且 系 数 憩 
阵 一 般 是 非 结 构 化 的 稀 朴 矩阵 ,适合 于 采用 和 迭代 解法 
进行 求解 . 
2. 计算 实例 与 结果 
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图 4-1 


机 架 结构 


图 4-2 et ee ea et ge 均 为 45 ,3 个 负载 均 为 
向 下 的 力 , 其 值 在 图 中 标 出 ,单位 为 吨 . 假定 结 点 1] 在 水 平和 竖 直 方向 均 严格 固定 ,而 结 点 8 


在 垂直 方向 加 以 固定 ,要 求 各 个 杆 上 的 应 力 大 小 . 


图 4-2 二 维 机 架 结 构 


按 图 4-2 所 示 对 杆 进行 编号 ,相应 地 设 第 工人 个 杆 上 的 应 力 为 了 i， 
量 . 由 于 只 需求 解 杆 的 应 力 , 不 需要 对 结 点 1 列 静 力 平衡 方程 ,也 不 需要 对 


这 样 一 


共有 13 个 未 知 
结 点 8 的 坚 直方 


向 列 方程 ,因此 总 共 可 列 13 个 方程 ,正好 可 得 到 唯一 解 . 定义 参数 a 二 V2/2, 对 结 点 2 一 8 依 


次 列 方程 ,得 到 如 下 线性 方程 组 : 


vy 1 @ 0 0 =1 0 0 0 0 
0 0 1 0 0 0 0 0 0 
& 0 1 =a 0 0 0 0 0 
& 0 1 0 a 0 0 0 0 0 
a 0 1 0 9 二 1 0 0 
0 0 0 0 0 0 1 0 0 0 
0 0 0 0 a 1 0 @ a 1 
0 多 0 a i 1 a 0 0 
A 0 .0 0 0 0 0 0 0 1 
0 0 0 0 0 0 0 0 0 0 
0 0 0 0 0 9 二 1 a 0 
0 0 0 0 日 浊 0 a 0 
0 0 0 0 0 0 0 0 0 0 
求解 出 解 向 量 x* 后 ,将 各 个 杆 的 应 力 标 于 图 中 ,如 图 4- 


0 0 0 ] 
0 0 0 

0 0 0 

0 0 0 

0 0 0 

0 0 0 

0 0 0 

0 0 0 

0 个。 会 开 

1 0 0 

0 -=& 0 

1 a 0 

0 a 和 
3 所 示 
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图 4-3 各 个 杆 的 应 力 


4.3 共生 梯 度 法 简介 


4.2 节 介 绍 的 经 典 迭 代 法 都 是 通过 对 和 抢 阵 的 简单 分 裂 得 到 1 阶 定 常 迭 代 公 式 , 它 们 对 
一 般 的 矩 阵 无 法 保证 收敛 性 ,即使 收敛 其 收敛 速度 也 可 能 很 慢 ， 从 20 世纪 70 年 代 开 始 迅 
速 发 展 起 来 的 Krylov( 克 雷 洛 夫 ) 子 空间 迭代 法 在 一 定 程 度 上 弥补 了 经 典 迭 代 法 的 不 足 , 在 
当前 的 科学 和 工程 计算 中 被 广泛 应 用 . 本 节 介 绍 由 变 分 原理 导出 的 共 斩 梯 度 法 , 它 是 一 种 
重要 的 Krylov 子 空 间 迭 代 法 . 
4.3.1 最 速 下 降 法 
先 介绍 最 速 下 降 法 , 它 是 共 配 梯度 法 的 基础 . 考虑 线性 方程 组 
Ax =b (4.21) 
的 求解 问题 ,其 中 ,A 为 n 阶 实 对 称 正定 矩阵 . 求解 线性 方程 组 (4. 21) 的 一 种 思路 是 将 它 转 
换 为 在 维 向 量 空间 求 函数 最 小 值 点 的 问题 ,这 个 函数 是 下 面 的 nn 元 二 次 函数 : 
8(z) = TxAr — bx. (4. 22) 


根据 多 元 微 积分 知识 ,这 个 最 小 值 点 x 必定 满足 条 件 295 站 一 0,(i 一 1,2,…,n)， 不 难 证 明 


这 样 得 到 的 个 方程 就 是 线性 方程 组 
Ax—b=0. 
这 说 明 方 程 组 (4. 21) 的 解 是 nn 元 二 次 函数 g(x) 
的 极 小 点 ， 还 可 以 证 明 当 A 对 称 正定 时 ,这 个 极 
小 点 就 是 pCx) 唯 一 的 最 小 值 点 .这 种 将 对 称 正 
定 线性 方程 组 的 求解 问题 转化 为 求 多 元 二 次 函 
数 最 小 值 问题 的 方法 称 为 变 分 原理 ， 
图 4-4 显示 了 多 元 二 次 函数 g(x) 的 一 个 例 
2 2 
子 , 它 对 应 于 4 一 |， 。|.b 一 | _。 | 的 情况 . 一 
般 的 求 多 元 函数 最 小 值 问题 属于 无 约束 优化 问 
题 ,往往 通过 多 维 向 量 空间 的 逐次 搜索 来 求解， 
下 面 介绍 其 基本 思路 ， 先 任意 给 定 一 个 点 (向 量 ) 。 图 4-4 一 个 多 元 二 次 函数 g(x) 的 图 形 
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xo， 假 设 沿 方向 向 量 po 搜索 下 一 个 点 2 
xl 一 xo 十 aopo， 
使 得 为 这 个 方向 上 的 最 小 值 点 , 即 对 VeER ， 
9pxo 十 mpo) SZ p(xo 十 apo)， 
然后 从 出 发 , 选 定 一 个 搜索 方向 pi , 沿 直 线 x 二 xi 十 ap1 再 跨 一 步 , 即 找到 w 使 得 
Gxtap) otap), VaER， 
也 就 是 说 ,在 当前 搜索 方向 上 使 g(x) 达 到 极 小 . 按 相同 的 方法 一 步 步 做 下 去 ,可 得 到 一 系 
列 多 维 空间 的 点 xo ,xi, xz，… ,它们 逐渐 允 近 p(x) 在 全 空间 上 的 最 小 值 点 ,也 就 是 方程 
组 (4.21) 的 解 . 这 个 搜索 过 程 是 一 个 迭代 计算 过 程 ,其 关键 问题 是 确定 搜索 方向 ps 和 搜索 
步 长 ai,(k==0,1,2,…). 
先 分 析 如 何 确 定 搜索 步 长 . 假设 从 x 出 发 ,已 选 定 搜索 方向 为 pi , 令 

fla) = gxi 十 apt)， (本 23) 

则 搜索 步 长 w 是 使 一 元 函数 (4. 23) 取 最 小 值 的 a 值 . 将 式 (4.22) 代 入 式 (4.23) 得 


Ka) = Ce tap AG + ape) —bT (x + aps) 


— 一 ar px 十 PCxe ) ， 


2 
其 中 ,ri 二 6 一 Axi ,为 方程 组 (4. 21) 的 残 差 . 函数 Fa) 为 简单 的 一 元 二 次 函数 , 且 和 矩阵 4 对 
称 正定 保证 了 pTI4px 二 0. 易 知 f(a) 有 唯一 的 最 小 值 ,对 应 的 a 值 为 
= rips 2 
a DEAD (4.24) 


不 同 的 方法 采用 不 同 的 策略 确定 搜索 方向 pi. 最 速 下 降 法 (steepest descent method) 
的 策略 是 : 考虑 到 多 元 函数 p(x) 增 加 最 快 的 方向 是 其 梯度 方向 ， 


= | 2 “| ， 
Vp(x) EB x1 9xs” ax 


因此 , 负 梯 度 方向 就 是 g(x) 减 小 最 快 、 最 明显 的 方向 ,每 次 都 把 它 选 为 搜索 方向 , 按 此 
思路 ， 
pe =— Vo(xi) =— (Ax —b) |ss = b—Ax:=r, (4. 25) 
上 述 推导 中 利用 了 矩阵 A 对 称 正定 的 性 质 , 详 细 过 程 留 给 感 兴趣 的 读者 思考 . 
例 4.6( 最 速 下 降 法 原理 ): 用 最 速 下 降 法 求解 方程 Ax 二 5, 其 中 


和 本 2 2 
| ls =| | 
2 © —8 
首先 将 它 转 化 为 求 函 数 p(x) 一 去 XAx 一 DTx 一 卫 zx 十 2zx1zs 十 3 一 2Xi 十 8xs 的 最 小 值 问 


题 . 假设 初 值 x 二 [一 2, 一 2J", 则 在 二 维 向 量 空 间 中 经 过 如 图 4-2 所 示 的 搜索 步 逼 近 g(x) 
的 最 小 值 点 x 二 [2, 一 2J", 它 是 方程 Ax 二 b 的 准确 解 . 


@@ 为 了 记号 的 简洁 ,在 本 节 中 使 用 下 标 标记 向 量 序列 中 的 序号 ,例如 用 xs 表示 第 k 个 迭代 解 ,而 不 用 x . 
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在 图 4-5 中 ,p(x) 的 负 梯 度 方向 (ri ) 就 是 等 
值 线 的 法 向 . 并 且 还 可 看 出 ,在 每 步 搜 索 的 终点 
处 ,搜索 方向 垂直 于 等 值 线 的 法 向 , 即 天 上 ms， 
这 其 实 可 根据 式 (4. 24) 加 以 证 明 , 留 给 感 兴趣 
的 读者 思考 . 由 于 最 速 下 降 法 的 搜索 方向 沿 着 
当前 点 处 的 等 值 线 法 向 ,其 搜索 过 程 中 相 邻 两 
步 的 搜索 方向 总 是 相互 垂直 的 . 

将 式 (4.25) 代 入 式 (4. 24) 可 得 到 最 速 下 降 
法 中 a 的 计算 公式 : 

= re (4.26) 


到 三 元 5 
"AT 图 45 二 维 向 量 空间 中 函数 gz) 的 等 值 线 
下 面 给 出 解 线性 方程 的 最 速 下 降 法 的 算法 图 ,以 及 最 速 下 降 法 的 搜索 过 程 


描述 . 


算法 4.5: 解 对 称 正定 方程 组 的 最 速 下 降 法 . 
输入 : x,4,D; 输出 : x. 
r:=b—Ax; 
While 不 满足 判 停 准则 do 
a :=rir/riAr; 
x :一 X 十 or; 
A {reti=b— Axiti, HL Xiti= Xtar} 
End 
在 算法 4. 5 中 ,每 个 迭代 步 的 主要 计算 是 做 矩阵 4 与 向 量 r 的 乘法 , 若 A 为 稀疏 和 矩阵 
只 需 遍 历 和 矩阵 非 零 元 ,并 且 算 法 不 改变 原始 和 矩阵 A. 另外 , 近 代 过 程 中 a 和 Fr 的 值 不 断 变 化 ， 
因此 前 后 两 个 迭代 解 之 间 不 满足 一 种 固定 的 递 推 公式 ,这 一 点 不 同 于 经 典 的 1 阶 定常 迭代 
法 . 另外 ,由 于 多 元 二 次 函数 PCxz) 是 凸 函 数 ,一 定 存在 唯一 的 最 小 值 点 ,也 就 是 说 , 当 和 矩阵 入 
对 称 正 定时 ,算法 4. 5 一定 是 收敛 的 . 
例 4.7( 最 速 下 降 法 ): 根据 算法 4.5, 写 出 最 速 下 降 法 求解 例 4. 6 中 线性 方程 组 的 过 程 . 


一 2 
【 解 】 与 例 4.6 一 致 , 取 初 给 能 一 | _， |, 然后 计算 


" -ba = sl ls oll-sl-[} 
远 代 第 一 步 ,为 了 计算 wm 先 计算 An =| 2 “| |]= [站 |]. 则 = 直人 = 红盾 秽 = 


二 下 条 0. 08 
0.1733, 因 此 ,xi 一 aa tan=|_, | o.173x| [| | 


8 |—0.6133 
类 似 地 计算 后 续 的 迭代 解 ,依次 得 到 : 


[ el [ | | | 
X2 一 ， Xs 二 ， Xs 一 » 
一 2.0000 =— .6549 一 2.0000 
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| k a [ | [ | 
Xs 一 » Xe 一 ， x7 一 ， 
一 1.9141 一 2. 0000 一 1.9786 
[ | [ ed | | 
= 由 i 
一 2.0000 一 1.9947 一 2.0000 国 
4.3.2 共 斩 梯 度 法 


在 最 速 下 降 法 中 , 负 梯 度 方向 虽 从 局 部 来 看 是 最 佳 的 搜索 方向 ,而 且 每 步 都 在 该 方向 上 
使 p(x) 达到 最 小 ,但 并 没有 在 全 局 上 使 g(x) 最 小 化 . 从 图 4-5 就 可 以 看 出 ,最 速 下 降 法 总 
是 搜索 重复 的 方向 ,收敛 特别 慢 . 将 最 速 下 降 法 加 以 改进 , 便 得 到 共 示 梯 度 法 (conjugate 
gradient method, 简 称 CG 法 ) ,下面 介绍 它 的 主要 思想 与 计算 过 程 . 
给 定 初始 向 量 xo ,第 一 步 仍 选 负 梯度 方向 为 搜索 方向 , 即 po 二 ro ,于 是 有 
ao 一 ea xl 一 xo 十 aopo，7m 一 0 一 4 人 xl， 
对 以 后 各 步 , 例 如 ,第 k 十 1 步 (k 三 1) ,搜索 方向 不 仅仅 考虑 产 ,而 是 在 过 点 由 向 量 产 
部 和 Pi: 所 张 成 的 平面 4x 一 飞 十 Sr 十 7Dt- 和 7ER 内 


如 一 -7 找 函 数 p(x) 的 最 小 值 ( 见 图 4-6). 记 
， es / i 
i p, ” f(€,7) =9(x4 tt Eri tt mpi) 
/tt 2 二 记 (Gxi 十 S74 十 D221) 了 TAC 十 E74 十 甸 上 1) 
a x Pi n 2 


— bx 二 Erg 十 7Pi-l1)， 
图 4-6 在 向 量 六 和 P-: 所 张 成 的 二 维 直接 计算 可 得 
平面 上 搜索 最 小 值 的 示意 图 af 
EE =ériAri+ nriApei—rir:, 
9 
= EriAp:— 1 十 Pi- 14Pi-l， 
其 中 ,第 二 个 式 子 用 到 了 4.3.1 节 中 rtpr-1 二 0 的 结论 . 


为 了 求 1(&,) 的 极 小 值 以 及 它 对 应 的 &y 取 值 ,可 根据 下 式 列 方程 


f= 
dE 97 
设 要 求 的 极 小 值 点 为 x, 则 
TX = x Er Tp 
且 $ 和 5 满足 
EriArs + IriAper = rire (4. 27) 
1 + jpiiApe 一 0， (4. 28) 
根据 上 述 方程 易 证 明 , 若 产 和 0 则 必 有 & 关 0, 因 此 可 取 新 的 搜索 方向 为 ( 见 图 4-6) 
ps I Xi) = r+ i 


它 是 在 上 述 二 维 平面 内 的 最 佳 搜 索 方向 ,并 且 搜 索 步 长 为 &. 这 里 我 们 不 直接 推导 &E 的 计算 
公式 ,而 是 关心 如 何 计算 搜索 方向 pi ,因为 一 旦 搜索 方向 确定 了 , 步 长 可 根据 4. 3. 1 节 的 公 
人 下 
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式 (4. 24) 得 出 . 
令 Bi:=7/S, 则 由 方程 (4. 28) 得 


涝 
riApe 
i (4.29) 
3 peiApe 
而 
Pr = ret Bipe, (4,.30) 


并 且 容 易 证 明 piAp-1 一 0, 即 搜索 方向 pi 与 ps-1 是 A 正 交 的 0( 也 称 为 * 共 轩 正 交 ”). 

公式 (4. 29) 和 公式 (4. 30) 就 是 计算 ps 的 递 推 公式 ,然后 使 用 前 面 的 公式 (4. 24) 确 定 搜 
索 步 长 w (就 是 前 面 的 8) ,就 可 计算 下 一 个 迭代 解 + 王立 十 wp 总 结 上 面 的 讨论 ,得 如 
下 的 算法 描述 . 


算法 4.6: 解 对 称 正 定 方程 组 的 共 斩 梯 度 法 . 
输入 : Xo ,A,b; 输出 : Xk. 


ro :=b—Axo; 


Po :一 mo; 

AR :一 0; 

While 不 满足 判 停 准 则 do 
ax :=repe/peAps; {计算 搜索 步 长 } 
9 {更 新 解 } 
Ti 7 EAD; {计算 新 残 差 向 量 } 
B: :=—ritiAp:/ ptApe; 
Det1 :=reri thepr; {计算 新 的 搜索 方向 ) 
k:=k 十 1; 

End 


算法 4. 6 采用 了 不 同 于 算法 4. 5 的 男 一 种 描述 方式 ,实际 上 应 去 掉 变量 的 下 标 ( 如 
算法 4.5 那样 ), 只 保留 当前 迭代 步 的 搜索 步 长 .近似 解 , 残 差 ,搜索 方向 ,从 这 个 算法 看 出 ， 
每 个 迭代 步 的 主要 计算 仍然 是 做 一 次 矩阵 与 向 量 的 乘法 . 

例 4.8( 共 思 梯 度 法 ) : 根据 算法 4.6, 写 出 共 思 梯 度 法 求解 例 4. 6 中 线性 方程 组 的 过 程 . 


2 2 
【 解 】 与 例 4.6 一致, 取 初 始 解 一 | | ,然后 计算 出 mm 一 下 一 | 。|, 算 法 执行 过 各 


如 表 4-2 所 示 。 


表 4-2 算法 执行 过 程 


B Prti 


Qk SR 二 1 Te+1 


[ 55235727 | 0.1733 | ro 08 ,一 0. 6133] | [2. 9867 ,一 4.48]T |0. 1394|[4. 6592, —3. 365]7 


[7. 2476, 一 10.8715]7 | 0. 4121 |[2,—2]7 


@” 当 和 矩阵 A 对 称 正定 时 ,可 定义 内 积 (x,y)4 二 xTAy. 相应 地 , 若 (x,y)4 二 0, 称 向 量 x 和 yy 是 4 正 交 的 . 
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此 例 说 明 ,经 过 两 步 迭 代 共 思 f 梯 度 法 就 得 到 了 准确 解 . 事实 上 ,由 于 xs 是 在 p: 和 ri 所 
张 成 的 二 维 平面 上 的 p(x) 的 最 小 值 点 ,而 本 题 的 向 量 空间 就 是 二 维 的 ,因此 x 就 是 全 局 的 
最 小 值 ,当然 是 方程 Ax= 的 准确 解 了 . 

共 轿 梯度 法 每 迭代 一 步 产 生 3 个 向 量 xi ri 、pi ,分 别称 为 近似 解 向 量 、 残 差 向 量 和 搜索 方 
向 向 量 . 更 深入 的 理论 分 析 表 明 ( 详 细 证 明 见 文献 [14] ,文献 L33]) ,这 些 向 量具 有 如 下 性 质 . 

(1) xir1 Exo 十 span{ro ,Aro,…,A*ro}, 其 中 span{ro ,Aro,…,A*ro) 一 般 称 为 Krylov 
子 空间 , 记 为 A,ro). 

(2) x+ 不 但 在 向 量 rs 和 ps-1 所 张 成 的 平面 上 使 p(x) 最 小 , 而 且 在 超 平面 xo 十 X(A， 
ro) 上 使 p(x) 最 小 . 

(3) 搜索 方向 向 量 相 互 A 正 交 ( 共 轧 ), 即 piAp; 二 0,i 关 j. 

(4) 残 差 向 量 相 互 正 交 , 即 rir; 二 0,i 关 j. 

(5) 搜索 方向 向 量 与 残 差 向 量 相互 正 交 , 即 p}ri 二 0,0 过 j 过 k. 

(6) 在 超 平面 xo 十 XC(4,ro) 上 的 所 有 点 中 ,近似 解 x 的 范 数 误差 最 小 : 


[x mx = min lx—x’* |,, 
xExotA A ro) 


这 里 x" 表示 方程 4x= 的 准确 解 , 而 上 外。 | 是 由 矩阵 4 定义 的 向 量 范 数 ， 
| xl4= vx Ax. 

上 述 性 质 中 ,第 (1)、(2) 条 说 明 , 共 恩 梯度 法 的 迭代 解 可 看 成 是 在 Krylov 子 空间 寻找 的 
某 种 最 优 向 量 . 应 指出 , 还 有 其 他 通过 搜索 Krylov 子 空间 得 到 线性 方程 组 近似 解 的 方法 ， 
它们 都 称 为 Krylov 子 空间 选 代 法 (参见 文献 [14]). 第 (2) 条 性 质 还 说 明 , 若 不 考虑 数值 误 
差 ,x 即 为 准确 解 (因为 此 时 的 %X(4,ro) 为 全 空间 R"). 第 (3) 条 性 质 反 映 了 共 碟 梯度 法 名 字 
的 由 来 . 基于 这 些 性 质 ,还 可 以 改写 公式 (4. 24) 和 公式 (4. 29) ,得 到 


T T 
Te TeriTetl 

一 ， 一 一 二 一 ， (4. 31) 
plApr” Br, 


这 样 ,利用 公式 (4. 31) 并 考虑 一 些 技巧 可 得 出 更 实用 的 共 轿 梯度 法 算法 描述 . 


Qk 


算法 4.7: 解 对 称 正定 方程 组 的 实用 共 柜 梯度 法 . 
输入 : x,A,b; 输出 : Xx。 


r:=b—Ax; 
Da 
While 不 满足 判 停 准则 do 
a :=rir/p'Ap; {计算 搜索 步 长 } 
x :一 X 十 cp ; { 更 新 解 》 
FF :=r; {保存 上 一 个 残 差 向 量 } 
ri:=r—aAp; {更 新 残 差 向 量 } 
B:=rir/rr; 
D0 {计算 新 的 搜索 方向 ) 
End 


从 算法 4.7 看 出 , 共 思 梯度 法 的 每 个 迭代 步 只 需 做 一 次 矩阵 向 量 乘法 (计算 AP) 以 及 两 
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次 向 量 内 积 ( 计 算 pTAp 与 rTr), 这 比 算法 4.6 还 少 一 次 . 而 从 存储 量 上 看 , 共 斩 梯 度 法 也 
是 非常 节省 的 . 另外 ,由 于 迭代 中 已 计算 出 当前 迭代 解 的 残 差 r, 因 此 不 需要 额外 的 计算 量 
就 可 以 使 用 残 差 判 据 式 (4.6) 作 为 迭代 的 判 停 准则 . 

对 于 阶 对 称 正定 线性 方程 组 ,理论 上 共 红 梯度 法 经 过 n 次 迭代 必定 收敛 到 准确 解 , 它 
克服 了 最 速 下 降 法 和 其 他 迭代 法 收敛 速度 可 能 很 慢 的 缺点 ,是 一 种 “具有 和 迭代 法 形式 的 直接 
解法 ”实际 上 , 随 着 迭代 步 数 增多 , 共 力 梯度 法 中 的 舍 和 人 误差 很 严重 ,而 且 相 比 高 斯 消去 
法 ,作为 直接 解法 的 共 斩 梯 度 法 没有 任何 优势 . 

理论 分 析 表 明 , 共 轿 梯 度 法 的 近似 解 误差 满足 如 下 不 等 式 (注意 ,A 为 对 称 正 定 矩 阵 ) ， 

en la ye—l, (4. 32) 
ela Vk 十 1 
其 中 ,x 二 cond(A)s 二 Xmox(A) /Xmin (A). 当 和 矩阵 4 比较 良 态 (ks*1) 时 ,收敛 会 很 迅速 , 若 4 非 
常 病 态 (c 福 1) ,收敛 则 可 能 非常 慢 , 甚 至 不 收 钱 ,所 以 对 较 大 规模 的 实际 问题 ,一 般 需 要 预 
条 件 技术 (preconditioning) 与 共 红 梯度 法 结合 起 来 使 用 . 
预 条 件 技术 的 一 种 基本 做 法 是 用 矩阵 M7! 去 乘 A, 然 后 求解 与 原 问题 等 价 的 方程 
MiAx = MD， 33 
其 中 ,M 是 使 方程 组 Mz 二 y 易于 求解 的 矩阵 ,如 果 它 的 逆 近 似 于 A 的 逆 , 则 MT!A 就 会 比 
较 良 态 , 从 而 提高 共 生 梯 度 法 的 收敛 速度 . 从 技术 上 讲 , 为 了 保持 系数 矩阵 的 对 称 性 和 正定 
性 ( 共 轿 梯度 法 应 用 的 前 提 ) ,应 该 做 分 解 M=LF ,然后 对 工 24L 应 用 共 恩 梯度 法 . 在 具 
体 设计 算法 时 还 有 一 些 技巧 ,可 使 算法 中 只 用 到 M 而 不 直接 出 现 L. 省 略 这 些 细节 的 讨论 ， 
下 面 直接 给 出 预 条 件 共 思 梯 度 法 的 算法 描述 . 


算法 4.8: 解 对 称 正定 方程 组 的 预 条 件 共 思 梯 度 法 . 
输入 : wa b> M; 输出 : 二 


r:=b— Ax; 
p eh 
z :=p; {z=M !r} 
While 不 满足 判 停 准则 do 
a :=riz/p'Ap; {计算 搜索 步 长 } 
x :一 X 十 wp; {更 新 解 } 
6 :=r'z; {保存 上 一 个 残 差 向 量 的 有 关 计 算 结 果 } 
ri:=r—aAp; {更 新 残 差 向 量 } 
z:=M i!r; 
B:=rTz/0; 
:一 z 十 即 ; { 计 算 新 的 搜索 方向 } 
End 


算法 4.8 的 每 步 迭代 中 ,除了 一 次 矩 阵 与 向 量 乘积 Ap 外 ,再 额外 做 一 次 预 处 理 M Wr 即 可 . 
在 构造 预 条 件 和 矩阵 M ' 时 ,要 权衡 收敛 速度 的 增长 与 预 处 理 给 每 步 迭 代 带 来 的 额外 开销 . 
目前 已 出 现 了 各 种 预 条 件 技术 ,相关 的 研究 也 成 为 当今 一 个 非常 活跃 的 研究 课题 . 关于 这 方 
面 的 讨论 超出 了 本 书 的 范围 , 感 兴趣 的 读者 可 参阅 文献 L6] 文献 L13]、 文 献 L14] 和 文献 L32]. 
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4.4 各 种 方法 的 比较 


本 节 首 先 介绍 一 个 模型 问题 ,针对 它 详 细 比 较 本 章 介 绍 的 各 种 迭代 法 ,然后 将 求解 线性 
方程 组 的 直接 法 和 和 迭代 法 进行 对 比 . 


4.4.1 和 壕 代 法 之 间 的 比较 


为 了 更 好 地 将 前 面 介绍 的 各 种 迭代 法 进行 对 比 ,下 面 先 看 一 个 模型 问题 . 
例 4.9( 正 方形 区 域 的 拉 普 拉 斯 方程 ): 考虑 定义 在 单位 正方 形 上 的 拉 普 拉 斯 方程 
(Laplace equation) 


2 2 
元 =0， 0 和 xz 过 1,0 近 y 云 1， (4. 34) 


待 求 函数 u(xz,y) 在 边界 上 的 值 如 图 4-7 所 示 , 要 求解 正方 形 内 部 点 上 的 u(x,y) 函 数值 . 
通常 把 要 求解 区 域 划分 成 很 多 的 网 格 ,求解 各 个 网 格 节点 的 值 . 网 格 节点 上 的 2 阶 导数 可 
以 根据 泰勒 (Taylor) 展 开 公 式 做 差 商 计算 来 近似 (更 深入 的 用 差 商 近似 导数 的 理论 和 方法 
见 后 面 的 第 7.7 节 ). 


了 
1 
0 0 
O 0 x 
(a) 单位 正方 形 区 域 及 边界 条 件 。“(b) 求解 拉 普 拉 斯 方程 取 的 离散 网 格 点 


图 4-7 模型 问题 网 络 划分 与 边界 条 件 


例如 ,对 本 题 的 正方 形 区 域 , 划 分 的 内 部 节点 为 (zi,yj) 三 (ih,jh)(i,j 二 1,…,k),h 为 
步 长 . 具体 地 ,这 里 取 k=2,h 二 1/(k 十 1) 三 1/3. 然后 在 每 个 内 部 节点 用 2 阶 中 心 差 商 近似 
方程 中 的 2 阶 导 数 , 得 到 方程 

ii — 2Uisj + Ui 二 和 二 1 一 2 本 | 
小 h 


其 中 ,wi,j 是 函数 值 u(xi;,y;) 的 近似 ,并 且 如 果 等 于 零 或 & 十 1, 则 ui,j 为 已 知 的 边界 值 . 
采用 这 种 方法 ,导出 4 阶 线性 方程 组 


=0, i,j=1,.,k, 


di Uo,1 U2,1 U1,0 wi,2 二 0 
dusz,1 U1,1 Us,1 U2,0 Uz,2 二 0 

， 
i,2 Uo,2 U2,2 U1,1 xs 一 0 
dus,2 Ul,2 U3,2 U2,1 Uz,3 一 0 


代入 边界 值 ,得 到 和 矩阵 形式 的 方程 


a 这 
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4 “一 二 一 0] | 2 zo,1 TT Uli,o 0 
= 4 9 一 下 :1 TT Uz, 0 
A = Uz,1 Us,1 U2,0 二 和 
1 ©@ 1 ls Uo,z 十 ,3 1 
全 二 业 等 4 U2,2 Us,2 TT U2,3 | 
这 是 个 对 称 正定 的 线性 方程 组 ,可 以 通过 直接 解法 (Cholesky 分 解法 ) 得 到 精确 解 为 
U1,1 0 L251 
U2,1 0 L225 
区 王 一 
U1,2 0.375 
Wz 0. 375J 


以 这 个 模型 问题 为 例 ( 单 位 正方 形 区域 上 拉 普 拉 斯 方程 生成 的 4X4 方程 组 ) ,下 面 比较 几 
种 迭代 法 的 收敛 效果 . 以 x” 二 0 作为 初始 值 , 雅 可 比方 法 得 到 的 迭代 解 序列 如 表 4-3 所 示 . 


表 4-3 用 雅 可 比方 法 求解 模型 问题 得 到 的 迭代 解 序 列 


0 0.000 0.000 0. 000 
600 0.250 0.250 
2 0.062 0.312 0.312 
3 0.094 0.344 0. 344 
4 0.109 0.359 0.359 
5 0 TU 0.367 0.367 
6 0.121 0.371 0. 371 
n 0.123 0.373 0. 373 
8 0. 124 0. 124 0. 374 0. 374 
9 0. 125 0. 125 0. 375 0.375 


表 4-3 显示 , 雅 可 比方 法 经 过 9 步 迭 代 收 敛 到 准确 解 (假设 保留 三 位 有 效 数 字 ). 采用 高 
斯 - 赛 德 尔 方法 .SOR 方法 和 共 思 梯 度 法 的 结果 如 表 4-4 一 表 4-6 所 示 口 . 


表 4-4 用 高 斯 - 赛 德 尔 方法 求解 模型 问题 得 到 的 迭代 解 序 列 


| Ts Tg 
0 0.000 0.000 0. 000 
1 0.000 0.250 0.312 
2 0.062 0.344 0.359 
3 0.109 0.367 0.371 
4 0. 121 0.373 0. 374 
5 0. 124 0.375 0.375 
6 0. 125 0.375 0.375 
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表 4-5 用 SOR 方法 ( 三 1.072) 求 解 模型 问题 得 到 的 迭代 解 序列 


Xs 
0 0. 000 
1 0. 335 
2 0. 365 
3 0. 373 
4 0. 375 
5 0. 375 
Ty Ta Ta 
0 0.000 0.000 0.000 0. 000 
1 0.000 0.000 0.333 0. 333 
2 0.125 0.375 0. 375 
可 以 看 出 ,高 斯 - 赛 德尔 方法 比 雅 可 比方 法 收敛 得 快 一 些 . 对 这 个 问题 ,SOR 方法 的 最 


佳 松 弛 因子 为 w= 二 1.072, 由 于 它 非常 接近 于 1, 所 以 SOR 方法 的 收敛 速度 比 高 斯 - 赛 德尔 方 
法 稍 快 . 最 后 ,采用 共 斩 梯 度 法 只 需 两 步 迭 代 就 可 以 收敛 . 图 

如 果 对 前 面 例子 中 单位 正方 形 上 的 拉 普 拉 斯 方程 改变 差分 的 步 长 ,可 得 到 一 系列 不 同 
规模 的 线性 方程 组 . 设 步 长 ==1/(k 十 1) ,在 kXk 个 内 部 网 格 节点 上 设置 变量 ,可 得 到 线性 
方程 组 的 阶 数 为 记 .对 于 这 种 模型 问题 ,理论 上 可 以 分 析出 各 种 经 典 迭 代 法 的 迭代 矩 阵 谱 
半径 o(B) ,而 SOR 方法 的 最 佳 松弛 因子 也 可 求 出 w= 二 2/[1 十 sin(xh)j. 表 4-7 列 出 了 理论 
分 析 得 到 的 迭代 和 矩阵 谱 半 径 以 及 渐进 收敛 速度 尺 的 近似 值 (R= 一 logiop(B)). 

表 4-7 求解 含 kX 大 个 内 部 网 格 点 的 模型 问题 的 迭代 矩阵 谱 半径 和 收敛 速度 


方 法 2(B) R* 
雅 可 比 | cos(xh) | (x /ln 10)h2/2 
高 斯 - 赛 德 尔 | cosz (xh) | Cz/ln 10)72 
最 佳 SOR [1—sin(xh)]/[1l+sin(xh)] (2x/ln 10)h 


* 在 计算 尺 时 考虑 于 尼 一 0, 进 行 了 近似 ,ln 表示 自然 对 数 . 


从 表 4-7 看 出 ,在 离散 网 格 点 很 密 的 情况 下 , 雅 可 比方 法 和 高 斯 - 赛 德尔 方法 的 收敛 速 
度 与 步 长 的 平方 成 正比 ,或 等 价 地 ,每 增加 一 位 精度 所 需 的 迭代 次 数 与 设置 网 格 点 的 个 数 成 
正比 (回顾 定义 4. 4) ,而 高 斯 - 赛 德尔 方法 的 渐进 收敛 速度 是 雅 可 比方 法 的 两 倍 . 另 一 方面 ， 
选 最 佳 松弛 因子 的 SOR 方法 比 其 他 两 种 方法 的 收敛 速度 要 快 很 多 ,由 于 它 的 近似 收敛 速度 
与 步 长 成 正比 ,对 网 格 很 密 的 问题 每 增加 一 位 精度 所 需 的 迭代 次 数 与 正方 形 一 条 边 上 的 节 
点 数 成 正比 . 

为 了 让 三 种 方法 的 比较 更 直观 ,对 & 取 不 同 的 值 , 将 它们 的 结果 列 于 表 4-8 中 . 可 看 到 ， 
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当 A 值 比较 大 时 , 谱 半 径 非 常 接近 1 ,三 种 方法 收敛 得 都 非常 慢 . 从 收敛 速度 尺 来 看 , 当 A 一 
10 时 (对 应 阶 数 为 100 的 线性 方程 组 ) ,为 增加 一 位 十 进 制 精度 , 雅 可 比方 法 的 迭代 次 数 要 
超过 50 次 ,高 斯 - 赛 德尔 方法 要 超过 25 次 ,而 最 佳 的 SOR 方法 大 约 要 4 次 . 当 k 二 100 时 
(对 应 阶 数 为 10 000 的 线性 方程 组 ) ,为 增加 一 位 十 进 制 精度 , 雅 可 比方 法 需要 5000 次 迭 
代 ,高 斯 - 赛 德尔 方法 大 约 需 要 2500 次 ,最 佳 的 SOR 方法 大 约 需要 37 次 . 所 以 对 大 规模 的 
方程 组 , 雅 可 比方 法 和 高 斯 - 赛 德尔 方法 一 般 是 不 适用 的 ,而 最 佳 SOR 方法 也 往往 收敛 
很 慢 . 


表 4-8 不 同上 值 情 况 下 求解 模型 问题 的 迭代 矩阵 谱 半径 和 收敛 速度 


雅 可 比 高 斯 - 赛 德 尔 最 佳 SOR 
“ p(B) R R p(B) R 
10 0. 9595 | 0.018 0. 036 0. 5604 0.252 
50 0. 9981 0. 0008 0. 0016 0. 8840 0.0535 


100 0. 9995 0. 0004 0.9397 0.0270 


0. 0002 0. 9990 
0.000 008 5 0.999 96 


共 思 梯 度 法 不 是 1 阶 定常 迭代 法 ,对 它 的 收敛 情况 的 分 析 更 加 复杂 ,4. 3. 2 节 给 出 的 迭 
代 误 差 减 小 的 比例 上 限 ( 式 (4. 32)) 是 一 种 保守 估计 ,实际 情况 可 能 远 好 于 它 . 例如 , 若 和 矩阵 
和 A 只 有 mw 个 互 异 的 特征 值 , 则 理论 上 共 思 梯 度 法 最 多 需 mm 次 迭代 就 可 收 化 . 共 斩 梯 度 法 的 
收敛 性 还 依赖 于 详细 的 矩阵 特征 值 分 布 , 若 使 用 合适 的 预 条 件 技术 ,在 一 些 应 用 问题 中 可 达 
到 超 线性 的 收敛 阶 . 


4.4.2 直接 法 与 迭代 法 的 对 比 


最 后 ,总 结 一 下 求解 线性 方程 组 的 直接 法 和 迭代 法 的 优 缺 点 . 

(1) 直接 法 不 需要 给 出 解 的 初 值 ,所 以 如 果 已 经 有 了 某 个 近似 解 ,它们 并 不 能 加 以 
利用 . 

(2) 直接 法 通常 能 得 到 很 准确 的 结果 ,但 如 果 不 需 要 特别 高 的 精度 ,它们 不 占 优势 . 

(3) 迭代 法 的 收敛 性 依赖 于 系数 矩阵 的 某 些 特性 ,如 和 矩阵 的 对 称 正定 性 和 特征 值 的 分 
布 , 当 方程 组 的 性 态 不 是 很 好 时 , 它 可 能 不 收敛 或 收敛 得 很 慢 . 因此 ,直接 法 更 稳健 、 通 用 . 

(4) 迭代 法 能 很 好 地 利用 矩阵 的 稀 朴 性 ,有 时 甚至 不 需要 显 式 存储 矩阵 的 非 零 元 素 ,只 
需 按 某 种 计算 过 程 得 到 矩阵 与 向 量 的 乘法 结果 . 因此 ,迭代 法 能 更 方便 地 处 理 实际 的 大 规 
模 稀 玻 线 性 方程 组 ,并 且 计算 效率 较 高 . 

(5) 高 效率 的 迭代 法 往往 需要 与 预 条 件 技术 结合 ,因此 如 何平 衡 预 条 件 带 来 的 额外 代 
价 和 收敛 速度 的 提高 是 重要 问题 . 

(6) 由 于 针对 不 同 的 实际 问题 , 稀 玻 矩阵 的 存储 方法 和 有 效 的 预 条 件 技术 多 种 多 样 , 不 
容易 将 迭代 法 开发 成 通用 、 实 用 的 标准 软件 包 . 而 直接 法 的 算法 .存储 结构 较 固 定 , 较 易 形 
成 面向 稠密 矩阵、 稀 玻 和 矩阵 的 实用 软件 包 . 

下 面 再 针对 二 维 、 三 维 空间 的 模型 问题 (单位 正方 形 或 正方 体 区 域 的 拉 普 拉 斯 方程 ), 比 
较 直 接 法 和 迭代 法 的 计算 复杂 度 . 假设 进行 步 长 为 h 二 1/(k 十 1) 的 均匀 有 限 差分 网 格 划 
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分 ,内 部 网 格 点 数 分 别 为 及 和 站 (二 维 问题 的 方程 阶 数 为 记 , 三 维 问 题 的 方程 阶 数 为 包 ). 
此 问题 得 到 的 矩阵 是 对 称 、 正 定 、 稀 下 的 ,每 行 的 非 零 元 素 的 个 数 一 定 , 且 条 件数 为 
OU/R). 对 处 理 带 状 矩 阵 的 楚 列 斯 基 算 法 ,二 维 时 矩阵 带宽 为 O(k) ,三 维 时 为 O( 如 )， 对 
预 条 件 共 思 梯 度 法 ,假定 预 处 理 可 以 将 条 件数 降 至 O(1/h). 和 迭代 法 的 终止 判 据 是 误差 达到 
离散 化 的 截断 误差 范围 内 , 即 直到 误差 降 至 初始 误差 的 大 倍 . 基于 这 些 前 提 , 表 4-9 列 出 了 
各 种 直接 解法 和 迭代 解法 求解 二 维 三维 模 型 问题 的 最 佳 计算 复杂 度 . 其 中 “ 楚 列 斯 基 算 法 
〈 稀 玻 和 矩阵) 是 一 种 针对 较 一 般 稀 朴 矩阵 的 Cholesky 算法 的 改进 . 


表 4-9 求解 二 维 、 三 维 模型 问题 ,各 种 直接 法 和 和 迭代 法 的 计算 量 


万 法 至 维 三 维 
楚 列 斯 基 算法 (稠密 矩阵 ) ORS) O(CAs ) 
雅 可 比 迭 代 法 Ok'logk) Oks logk) 
高 斯 - 赛 德尔 迭代 法 OCA4logR) Oks logk) 
楚 列 斯 基 算 法 ( 带 状 矩阵 ) O(A4) O(7 ) 
最 佳 SOR Okslogk) O(k' logk) 
楚 列 斯 基 算 法 (稀疏 矩 阵 ) OR’) O(Rs ) 
共 配 梯度 法 OCS) OR’) 
最 佳 SSOR( 对 称 SOR) O(k?s logk) O(kYslogk) 
预 条 件 共 力 梯度 法 Oks) OCRs5) 


从 表 4-9 看 出 ,对 于 三 维 . 大 规模 问题 ,迭代 法 在 计算 效率 上 的 优势 非常 明显 . 尤其 是 
预 条 件 共 恩 梯度 法 ,用 其 求解 线性 方程 组 的 时 间 复 杂 度 已 很 接近 最 优 的 线性 复杂 度 O(n) 
(对 二 维 问题 2 一 尼 ,对 三 维 问题 2 一 局 ). 


4.5 有 关 数 值 软件 


与 求解 线性 方程 组 的 直接 法 相 比 ,迭代 法 的 软件 /程序 资源 比较 少 ,功能 也 不 够 完善 . 
主要 有 两 方面 原因 : 首先 ,各 种 迭代 法 的 收敛 性 都 需要 一 定 的 条 件 , 即 便 是 收敛 性 较 好 的 共 
轿 梯 度 法 ,其 有 效 性 还 依赖 于 构造 适当 的 预 条 件 , 因 此 不 存在 一 个 通用 的 、 高 效率 迭代 求解 
算法 ;其 次 ,迭代 法 相对 于 直接 法 的 优势 只 有 在 处 理 稀 朴 矩阵 时 才 显 现 ,而 稀 玻 线性 方程 组 
的 存储 结构 并 不 唯一 ,甚至 在 有 些 应 用 中 并 不 显 式 生成 系数 矩阵 ,这 就 给 设计 实用 的 迭代 法 
程序 包 带 来 一 定 的 困难 . 

本 章 介绍 的 三 种 经 典 迭 代 法 非常 容易 编程 实现 ,因此 各 种 软件 包 往 往 不 将 它们 纳入 其 
中 . 实用 价值 较 大 的 迭代 法 是 Krylov 子 空间 迭代 法 ,它们 是 一 大 类 方法 ,近年 来 仍 有 新 的 
进展 . 关于 这 类 迭代 法 ,重要 的 软件 /程序 资源 如 下 . 

(1) MATLAB. MATLAB 中 实现 了 带 预 条 件 的 共 斩 梯 度 法 等 Krylov 子 空间 迭代 法 ， 
它们 的 源 代码 也 以 M- 文 件 形式 公开 . 这 些 方法 对 应 的 MATLAB 命令 有 bicg、 bicgstab、 
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bicgstabl、cgs、gmres、lsqr、minres、pcg、qmr、symmlq、tfqgmr 等 ,详细 介绍 可 通过 MATLAB 
的 帮助 文档 进行 查询 . 

(2) 程序 模板 库 (Template) (参见 文献 L13]). 这 是 由 多 位 著名 数值 计算 专家 共同 编 押 
的 一 本 介绍 各 种 线性 方程 组 迭代 解法 的 书 , 于 1994 年 出 版 . 随 书 附带 了 这 些 迭 代 法 的 程序 
代码 ,包括 用 FORTRAN、C.C++ 和 MATLAB 实现 的 版 本 ,在 Netlib 中 可 以 下 载 它 们 以 及 
该 书 的 电子 版 : http://www. netlib. org/templates/index. html. 

(3) SPARSKIT. 这 是 由 Y. Saad 开发 的 关于 稀 玻 线性 方程 组 迭代 法 和 稀 朴 和 抢 阵 处 理 
的 程序 包 , 用 FORTRAN 语言 编写 . Y. Saad 是 GMRES 算法 的 发 明 者 ,他 出 版 了 关于 
Krylov 子 空 间 友 代 法 的 重要 专著 (参见 文献 L14]). 近年 来 ,他 还 开发 了 C 语言 的 程序 包 
ITSOL, 其 中 ,实现 了 一 些 最 新 的 预 条 件 技术 ,作为 SPARSKIT 程序 包 的 补充 . 这 些 程序 均 
共享 在 Saad 的 个 人 主页 上 : http://www-users. cs. umn. edu/ 一 saad/software/ ,上面 还 有 
一 些 相关 程序 包 的 链接 . 

(4) 其 他 的 软件 库 . 还 有 一 些 较 新 的 软件 库 包 括 Krylov 子 空 间 迭 代 法 ,比较 值得 关注 
的 是 一 些 美国 国家 实验 室 开 发 的 软件 包 . 例如 ,PETSc 是 一 个 不 断 更 新 的 程序 库 , 它 的 线性 
方程 组 求解 器 模块 包括 针对 稀 玻 矩 阵 的 迭代 解法 和 预 条 件 构造 算法 ,还 包括 面向 并 行 计算 
的 一 套数 据 结 构 和 子 程序 .PETSc 的 网 址 是 http://www. mcs. anl. gov/petsc/petsc-as/. 

下 面 对 MATLAB 中 的 pcg 命令 做 点 说 明 , 它 对 应 于 预 条 件 共 恩 梯度 法 (算法 4. 8). 
pcg 命令 的 基本 格式 为 

[x,flag,relres,iter,resvec|=pcg (A,b,tol,maxit,M1,M2 ,x0) ， 

其 中 ,输入 参数 tol 是 迭代 停止 阅 值 , 控制 相对 残 差 的 大 小 ;maxit 是 迭代 步 的 上 限 值 ; M1、 
M2 是 预 条 件 和 矩阵 ， 需 保证 M 二 M1M2 为 对 称 正定 矩阵 ,在 pcg 命令 的 另 一 种 格式 中 ,这 两 
个 参数 合并 为 一 个 , 即 预 条 件 矩 阵 M. 输出 结果 中 很 多 是 可 选 的 ,relres 表示 相对 残 差 ，iter 
表示 迭代 步 数 ,flag 为 求解 状态 信息 . MATLAB 中 还 提供 了 实现 不 完全 Cholesky 分 解 的 
命令 cholinc( 新 版 MATLAB 中 为 命令 ichol) ,用 它 处 理 和 矩阵 4 往往 得 到 高 效率 的 预 条 件 和 矩 
阵 ,关于 命令 cholinc 的 使 用 ,请 查看 MATLAB 的 帮助 文档 . 

应 当 说 明 的 是 ,线性 方程 组 迭代 解法 的 有 效应 用 依赖 于 方法 选择 、 预 条 件 技 术 、 数 据 结 
构 、 循 环 判 停 准则 等 多 方面 因素 . 因此 ,上 述 资 源 仅 仅 提 供 了 一 些 程序 实现 的 参考 , 面 对 实 
际 问题 时 如 何 有 效 地 使 用 它们 是 一 个 现实 问题 . 这 需要 了 解 一 些 Krylov 子 空间 迭代 算法 
和 编程 实现 的 详细 知识 ,并 通过 多 次 试验 才能 找到 有 效 的 解决 方法 . 这 些 内 容 已 超出 本 书 
的 范畴 ,读者 可 通过 一 些 后续 课 程 和 实际 科研 工作 加 以 掌握 . 


评 述 


线性 方程 组 迭代 解法 的 研究 可 追溯 到 19 世纪 初 ,但 由 于 早期 迭代 法 的 稳定 性 、 收 敛 性 
较 差 , 所 以 20 世纪 60 年 代 之 前 的 主流 方法 都 是 直接 解法 . 20 世纪 初 , Liebmann、 
Richardson、Southwell 等 人 发 展 了 更 多 的 迭代 法 (也 称 为 松弛 法 )，1950 年 左右 ,D. Young 
提出 了 逐次 超 松 弛 法 (SOR), 并 成 为 历史 上 首 个 成 功 应 用 的 迭代 法 . 

文献 [15j 使 用 了 如 下 的 数据 说 明 各 个 年 代 的 “大 规模 ”线性 方程 组 求解 问题 ,如 表 4-10 
所 示 . 
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表 4-10 各 个 时 代 “ 大 规模 "线性 方程 组 求解 问题 


代表 人 物 或 软件 


Wilkinson 


1965 Forsythe 和 Moler 


LINPACK 


LAPACK 


例如 ,在 1995 年 ,20 000 阶 和 矩阵 的 LU 分 解 在 当时 的 计算 机 上 几乎 达到 计算 的 极限 了 . 
对 于 超出 表 中 所 列 规模 的 问题 ,将 主要 依赖 迭代 求解 算法 . 

Krylov 子 空间 迭代 法 的 研究 始 于 20 世纪 50 年 代 . Lanczos 首先 针对 对 称 和 矩阵 提出 了 
为 Krylov 子 空间 XA( 和 ,ro) 夺 span{ro ,Aro,…,A* !ro} 构 造 正 交 基 的 有 效 算法 : 

。 C. Lanczos, Solution of systems of linear equations by minimized iterations, J. 

Research National Bureau of Standards, Vol. 49, pp. 33-53, 1952. 

1954 年 ,Hestenes 和 Stiefel 发 表 了 共 思 e 梯 度 法 . 在 随后 的 50 多 年 ,人 们 提出 了 各 种 各 
样 的 Krylov 子 空间 迭代 法 及 相关 技术 ,大 大 推进 了 大 规模 线性 方程 组 求解 算法 的 研究 . 
Krylov 子 空间 迭代 法 也 因此 入 选 “20 世纪 十 大 算法 ”. 

共 粥 梯度 法 最 初 被 看 成 是 直接 法 ,由 于 舍 入 误差 的 原因 它 被 证 明 是 不 实用 的 ,因此 很 长 
一 段 时 间 内 被 人 们 所 抛弃 . 直到 20 世纪 70 年 代 ,Reid、Golub 等 人 将 它 作为 迭代 法 加 以 推 
广 , 后 来 再 结合 预 条 件 技术 , 它 已 成 为 求解 大 型 对 称 正 定 稀疏 线性 方程 组 的 重要 方法 .1980 
年 后 ,Krylov 子 空间 迭代 法 的 重要 研究 成 果 有 GMRES 算法 和 Bi-CGSTAB 算法 等 ,它们 都 
针对 一 般 的 非 对 称 线性 方程 组 : 

。 Y. Saad, M. H. Schultz, GMRES: a generalized minimal residual algorithm for 
solving nonsymmetric linear systems, SIAM J. Scientific and Statistical 
Computing, Vol. 7, pp. 856-869, 1986. 

。 H.A. van der Vorst, Bi-CGSTAB: A Fast and Smoothly Converging Variant of 
Bi-CG for the Solution of Nonsymmetric Linear Systems, SIAM J. Scientificand 
Statistical Computing, Vol. 13, No. 2, pp. 631-644, 1992. 

当前 ,在 迭代 法 的 应 用 研究 中 预 条 件 技术 是 一 个 重要 课题 , 预 条 件 和 矩阵 的 构造 往往 使 用 
稀 叭 矩阵 的 直接 求解 技术 . 因此 ,针对 包含 大 规模 稀 玻 矩阵 的 方程 求解 问题 ,在 算法 设计 和 
编程 实现 的 各 个 层次 上 将 直接 法 与 迭代 法 结合 ,是 重要 的 研究 方向 ,此 外 , 较 新 的 迭代 解法 
还 包括 多 级 方法 (multi-level method) 多 重 网 格 方法 (multigrid method) ,它们 都 是 针对 偏 
微分 方程 的 求解 而 提出 的 快速 解法 ,并 发 展 出 处 理 一 般 的 线性 方程 组 的 方法 (如 代数 多 重 网 
格 法 ,algebra multigrid method). 在 有 些 应 用 中 ,多 级 方法 、 多 重 网 格 法 能 取得 比 Krylov 子 
空间 迭代 法 更 高 的 计算 效率 . 

【本 章 知识 点 】 1 阶 定常 迭代 法 ;和 矩阵 的 谱 半 径 ;1 阶 定常 欠 代 法 基本 定理 (迭代 法 的 收 
敛 判 据 ) ;1 阶 定常 迭代 法 的 收敛 速度 ;分 裂 法 ; 雅 可 比 迭代 法 ;高 斯 - 赛 德尔 迭代 法 ;SOR 和 迭 
代 法 ;松弛 因子 ;可 约 矩 阵 ( 不 可 约 和 矩阵 ) ; 雅 可 比 迭代 法 收敛 性 的 判断 ;系数 矩阵 对 角 占 优 时 
三 种 迭代 法 的 收敛 性 ;系数 和 矩阵 对 称 正定 时 三 种 迭代 法 的 收敛 性 ;SOR 迭代 法 收敛 的 必要 
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条 件 ; 求 解 线性 方程 组 的 变 分 原理 ;最 速 下 降 法 ; 共 轿 梯度 法 的 主要 思路 与 计算 过 程 ; 预 条 件 
技术 的 基本 概念 ;直接 法 与 迭代 法 的 优 缺 点 对 比 . 


算法 背后 的 历史 : 雅 可 比 


卡尔 。 雅 可 比 (Jacobi,Carl Gustav Jacob,1804 年 12 月 10 日 一 1851 年 2 月 18 日 ), 德 
国 数学 家 , 生 于 普 重 士 的 波茨坦 , 卒 于 柏林 . 他 出 生 于 一 个 富裕 的 犹太 人 家 庭 ,其 父 是 银行 
家 . 雅 可 比 被 广泛 地 认为 是 历史 上 最 伟大 的 数学 家 之 一 . 

雅 可 比 于 1816 一 1820 年 在 波茨坦 的 中 学 学 习 , 他 掌握 的 数学 知识 远 远 超过 学 校 所 讲授 
的 内 容 . 1821 年 4 月 进入 柏林 大 学 ,1825 年 获 柏林 大 学 哲学 博士 学 位 .随后 他 在 柯 尼 斯 堡 
大 学 任教 ， 由 于 雅 可 比 善于 将 自己 的 新 观点 贯穿 在 教学 之 中 ,并 启发 学 生 独 立 思考 ,成 为 学 
校 最 受 欢 迎 的 数学 教师 之 一 .1827 年 被 任命 为 教授 ,并 于 1836 年 当选 柏林 (普鲁士 ) 科 学 院 
院士 .他 还 是 瑞典 皇家 科学 院 的 外 籍 院士 . 1842 年 由 于 健康 不 佳 而 
移居 柏林 ,1851 年 因 串 天花 而 去 世 . 

雅 可 比 的 主要 贡献 

雅 可 比 在 数学 上 最 突出 的 贡献 是 和 挪威 数学 家 阿 贝 尔 (Abel) 
各 自 独 立地 黄 定 了 椭圆 函数 论 . 雅 可 比 在 行列 式 理论 方面 也 做 了 黄 
基 性 的 工作 ,引入 了 雅 可 比 行 列 式 ,提出 了 它们 在 多 重 积分 的 变量 
代 换 和 解 偏 微分 方程 中 的 作用 . 雅 可 比 在 数值 计算 方面 的 贡献 主要 
有 : 1845 年 他 提出 了 求解 线性 方程 组 的 雅 可 比 和 迭代 法 ;他 还 提出 了 
雅 可 比 算 法 ,用 于 准确 计算 正定 矩阵 的 特征 值 分 解 ; 另 外 , 雅 可 比 在 图 4-8 雅 可 比 
研究 双 线 性 型 计算 的 化 简 时 ,提出 了 与 矩阵 的 LU 分 解 等 价 的 算 
法 . 雅 可 比 的 其 他 工作 还 包括 数论 、. 变 分 法 、 复 变 函 数论 、 微 分 方程 等 方面 . 顺便 提 一 下 ,高 
斯 - 赛 德尔 迭代 法 的 欠 形 早 在 1823 年 就 被 高 斯 提出 ,而 对 它 的 系统 表述 和 收敛 性 分 析 则 由 
雅 可 比 的 学 生 赛 德尔 于 1847 年 完成 . 

心灵 纯洁 的 数学 家 一 一 雅 可 比 

雅 可 比 是 一 个 品德 高 尚 的 人 ,他 与 阿 贝 尔 各 自 独 立 发 现 了 椭圆 函数 , 却 并 没有 如 牛顿 和 
菜 布 尼 效 那样 互相 择 击 , 反 而 客观 真诚 相 待 ,相互 欣 赏 ， 椭圆 函数 可 以 看 成 三 角 函 数 的 推 
广 , 但 它 具 有 特别 的 性 质 : 三 角 函 数 只 有 一 个 实 周期 ,指数 函数 只 有 一 个 虚 周 期 ,可 是 椭圆 
函数 具有 双 周 期 性 . 在 1827 年 和 1828 年 之 间 阿 贝尔 发 表 了 这 方面 的 工作 成 果 , 而 同时 年 
轻 的 雅 可 比 也 在 另 一 个 杂志 上 发 表 了 同样 的 结果 . 1829 年 6 月 法 国 科 学 院 把 著名 的 Grand 
Prix 奖 颁 给 阿 贝 尔 和 和 雅 可 比 , 他 们 被 看 成 是 当时 最 有 成 就 的 两 个 数学 家 . 阿 贝 尔 死 后 , 勒 让 
德 准备 将 他 生前 研究 的 椭 贺 函数 方 面 的 成 果 发 表 , 并 命名 为 “椭圆 函数 论 ”, 却 遭 到 雅 可 比 的 
反对 ,他 认为 应 该 叫 “ 阿 贝尔 了 浮 数 论 ”, 因 为 这 一 类 函数 是 阿 贝 尔 第 一 次 引进 数学 分 析 里 来 
的 . 本 来 阿 贝 尔 已 死 , 雅 可 本 可 以 借 此 提高 自己 在 椭圆 函数 方面 的 威望 ,结果 他 却 力 手 阿 贝 
尔 , 并 且 为 阿 贝 尔 的 作品 被 当时 的 柯 西 雪藏 了 15 年 而 愤愤 不 平 . 这 种 对 科学 务实 、 对 他 人 
尊重 的 品质 ,值得 后 世 所 有 数学 家 向 他 学 习 . 

雅 可 比 名 言 

。 上 帝 总 在 使 世界 算术 化 . 
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数学 如 同音 乐 或 诗 一样 显 然 地 确实 具有 美学 价值 . 
在 奥 林 匹 斯 山上 统治 着 的 上 帝 , 乃 是 永恒 的 数 . 
科学 的 唯一 目的 是 为 人 类 的 精神 增光 . 

。 逆向 ,要 经 常 逆 向 . 


练 习 题 


L, 试 证 明 lim4 二 A 的 充 要 条 件 是 对 任何 向 量 x 都 有 
limA™ x = Ax. 
2 


2. 设 有 方程 组 Ax 二 b, 其 中 ,A 为 实 对 称 正定 阵 , 试 证 明 当 0 二 w= 8 (B 宇 o(4)) 时 迭代 法 
ED olb— AS {k= O00) 
收敛 . 
3. 设 方程 组 


52zi 十 2zs 十 zs 二 = 12 
一 Zi 十 4zz 十 2zs 一 20 ， 
22 一 3zs 十 10zs 一 3 

(1) 考察 用 雅 可 比 迭 代 法 、 高 斯 - 塞 德 尔 迭 代 法 解 此 方程 组 的 收敛 性 . 

(2) 取 初 始 解 为 L0,0,0J" ,用 雅 可 比 迭代 法 及 高 斯 - 赛 德 尔 迭 代 法 解 此 方程 组 ,要 求 当 
| xz 和 > 一 xx 上。 过 10 悦 时 终止 迭代 . 

4. 用 SOR 方法 解 方程 组 ( 取 w= 二 0.9, 初 始 解 为 [0,0,0]") 

5zi 十 2zs 十 zs 二 一 12 
一 Xl 十 4z; 十 2zs 一 20 ， 

221 一 3zs 十 10zs 一 3 
要 求 当 | xz 一 x 外 -< 入 10 一 时 终止 迁 代 . 

5. 基于 高 斯 - 赛 德 尔 迭 代 法 可 得 到 一 种 新 的 迭代 法 . 在 第 k 步 迭代 中 (二 0,1,…), 先 
由 高 斯 - 赛 德 尔 迭 代 公式 根据 x 算出 Xx” ,然后 将 分 量 的 更 新 顺序 改 为 从 nn 到 1, 类 似 地 ,再 
计算 一 遍 根 据 z 2 得 到 xx >. 这 种 迭代 法 称 为 对 称 高 斯 - 赛 德 尔 (SGS) 方 法 . 试 推导 SGS 
方法 的 迭代 计算 公式 ,并 证 明 它 也 属于 分 裂 法 , 且 当 和 矩阵 4 对 称 时 矩阵 M 也 是 对 称 的 . 

6. 考虑 线性 代数 方程 组 


其 中 


(1) a 为 何 值 时 ,A 是 正定 的 ? 
(2) a 为 何 值 时 , 雅 可 比 授 代 收 敛 ? 
(3) a 为 何 值 时 ,G-S 迭代 收敛 ? 
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7. 试 证 明定 理 4. 8 中 的 必要 性 部 分 . 
8. 对 雅 可 比方 法 引进 迭代 参数 w>0. 即 
DAR by 
或 者 
xD = (I— wD "Ax® +wDb 
称 为 雅 可 比 松弛 法 (简称 JOR 方法 ). 试 证 明 : 当 求解 Ax=b 的 雅 可 比方 法 收敛 且 0<w<1 
时 ,JOR 方法 也 收敛 . 
9. 设 和 矩阵 4 按 行 严格 对 角 占 优 , 试 证 明 求 解 线 性 方程 组 Ax 二 5 的 雅 可 比 迭 代 法 收敛 
(提示 : 利用 定理 4.9 的 结论 ). 


10. 设 和 矩阵 4 为 实 对 称 正定 阵 ,x* 为 方程 Ax 二 b 的 解 , 试 证 明 x* 为 g(x) 一 地 Ax 一 


brx 的 唯一 最 小 值 点 , 即 对 VxER ,zx 天 xp(r) 二 PC ). 

11. 设 AER"”* 是 对 称 正定 阵 , 从 方程 组 Ax=b 的 近似 解 yo 二 x 出 发 ,依次 求 六 使 得 

9(yi) = ming (yi Ww) (= 12 yn)s 

其 中 ,e 是 阶 单位 矩阵 的 第 i 列 ,p(y) 是 式 (4. 22) 所 定义 的 函数 . 然后 令 zs+i 一 多 验证 
这 样 得 到 的 近代 算法 就 是 G-S 迭代 法 . 

12. 试 证 明 在 共 力 梯度 法 中 , 壕 代 解 xr1 Exo 十 span{ro ,Aro，,…,A*ro}, 其 中 ,A 为 原 方 
程 的 系数 矩阵,m 为 初始 的 残 差 向 量 . 

13. 设 4ER 术 入 是 对 称 正定 阵 , 户 ,P ,有 ER 相互 共 斩 , 即 piAp; 二 0(i 关 j). 试 证 
明 向 量 pi ,ps，… ,ps 是 线性 无 关 的 . 

14. 设 A 是 一 个 只 有 k 个 互 不 相同 的 特征 值 的 nXn 实 对 称 和 矩阵 (k 二 n) ,r 是 任 一 n 维 
实 向 量 . 证 明 : 子 空间 


span{r,Ar,*…A™!r} 


的 维 数 至 多 是 A. 
上 机 题 
1. 考虑 10 阶 Hilbert 矩阵 作为 系数 阵 的 方程 组 
Ax 一 5， 
其 中 必 的 元 素 wij 一 直上 [1 二 …, 赴 ] . 取 初 始 解 < 一 9, 编写 程序 用 Jacobi 与 


SOR 迭代 法 求解 该 方程 组 ,将 | xz 一 xz 外 = 过 10“ 作 为 终止 欠 代 的 判 据 . 
(1) 分 别 用 Jacobi 与 SOR(w 二 1.25) 和 迭代 法 求解 ,观察 收敛 情况 . 
(2) 改变 w 的 值 ,试验 SOR 迭代 法 的 效果 ,考察 解 的 准确 度 . 
2. 考虑 常 微分 方程 的 两 点 边 值 问题 : 


dy dy 
| de (Ow 1) 
y(0)=0,， y(1)=1 


容易 知道 它 的 精确 解 为 
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= = 
y= Tle i a 


为 了 把 微分 方程 离散 ,把 [0,1] 区 间 n 等 分 , 令 /= 二， 


二 读 ， (i 二 1,2,…,n 一 1)， 


得 到 有 限 差分 方程 
yl 一 2y 十 yil A 一 交 一 
E 7 汪 a, 
简化 为 


(eh)ym — (2eth)y;t ey = ah’, 
从 而 离散 后 得 到 的 线性 方程 组 的 系数 矩阵 为 
一 必 2é 和 十 有 知 eh 
E 三 并 2 十 大) e 十 有 h 
A= E 王公 十 7 
e 十 hh 
8 一 人 2s 十 内 


(1) 对 e 一 1,a 一 了 ,一 100, 分 别 用 雅 可 比 .G-S 和 SOR 方法 求 线性 方程 组 的 解 , 要 求 


有 4 位 有 效 数字 ,然后 比较 与 精确 解 的 误差 . 
(2) 对 s 一 0.1,e 一 0.01,e 一 0.0001 考虑 同样 的 问题 . 
3. 考虑 如 下 的 偏 微分 方程 Dirichlet 边界 问题 : 


| (G+) =f, 0<z,y<!1 


ar? 9ay’ 
u= 9， (zyy) ET 
其 中 , 厂 为 正方 形 区 域 的 边界 ,f、y 均 为 关于 x 和 y 的 已 知 函 数 . 类 似 于 模型 问题 ,得 到 差 
分 方程 


(1 h? | i 2 
十 本 ju ny 十 Uj 十 Wiiti 十 wi,j-1) 一 fi (isi = L290 5 1)s 


U0 = G0 Uin = pin? (i = 0,1,2,.,n) 
Uj 二 oj， Unj 二 oj， (7 一 0,1,2，……7) 
按照 “自然 顺序 排列 ”, 得 到 系数 矩阵 为 
Ss B 
B Ss B 
起 二 B Ss 
B 
B Ss 


其 中 B= 一 子 1,1 为 n 一 1 阶 单位 矩阵 ,S' 是 对 角 元 均 为 1 十 居 /4, 次 对 角 元 均 为 一 1/4 的 一 1 
阶 对 称 三 对 角 矩阵 . 对 /一 sin(zy) ,pg 一 开 十 Yn 一 20, 用 共 亏 梯度 法 求解 差分 方程 的 解 , 要 求 
有 4 位 有 效 数字 . 
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与 线性 方程 组 的 求解 问题 一 样 ,矩阵 特征 值 与 特征 向 量 的 计算 也 是 数值 线性 代数 的 重 
要 内 容 . 在 理论 上 ,矩阵 的 特征 值 是 特征 多 项 式 方程 的 根 , 因 此 特征 值 的 计算 可 转化 为 单个 
多 项 式 方程 的 求解 . 然而 对 于 高 阶 和 矩阵 ,这 种 转化 并 不 能 使 问题 得 到 简化 ,而 且 在 实际 应 用 
中 还 会 引入 严重 的 数值 误差 . 因此 ,正如 第 2 章 指 出 的 ,人 们 一 般 将 多 项 式 方程 求解 转化 为 
矩阵 特征 值 计 算 问 题 , 而 不 是 反 过 来 . 

本 章 介 绍 有 关 和 矩阵 特征 值 计 算 问 题 的 基本 理论 和 算法 . 与 非 线 性 方程 求 根 问题 类 似 ， 
计算 和 矩阵 特征 值 的 算法 也 是 迭代 方法 0. 


5.1 基本 概念 与 特征 值 分 布 


本 节 先 介绍 矩阵 特征 值 . 特 征 向 量 的 基本 概念 和 性 质 , 然 后 讨论 对 特征 值 分 布 范围 的 简 
单 估计 方法 . 


5.1.1 基本 概念 与 性 质 


定义 5.1: 矩阵 A= (a )EC"™"， 
(1) 称 
p(X) = det(A1 一 A) = 二 入 十 aA™ 十 十 cA 十 cc, 
为 A 的 特征 多 项 式 (characteristic polynomial) ;n 次 代数 方程 
PCGA) 一 0 
为 A 的 特征 方程 (characteristic equation), 它 的 nn 个 根 A1,…,A, 被 称 为 A 的 特征 值 
(eigenvalue). 此 外 ,常用 4(4) 表 示 4 的 全 体 特 征 值 的 集合 ,也 称 为 特征 值 谱 (spectrum of 
eigenvalue). 
(2) 对 于 和 矩阵 4 的 一 个 给 定 特征 值 4, 相 应 的 齐 次 线性 方程 组 
QI—A)x=0 CBs 1 
有 非 零 解 ( 因 为 系数 和 矩阵 奇异 ) ,其 解 向 量 x 称 为 矩阵 4 对 应 于 4 的 特征 向 量 (eigenvector). 
根据 方程 (5. 1) ,得 出 矩阵 特征 值 与 特征 向 量 的 关系 , 即 
Ax = Ax. C32 
第 3 章 的 定义 3. 5 就 利用 公式 (5. 2) 对 矩阵 特征 值 和 特征 向 量 进行 了 定义 , 它 与 定义 5.1 是 
等 价 的 . 另外 ,同一 个 特征 值 对 应 的 特征 向 量 一 定 不 唯一 ,它们 构成 线性 子 空间 , 称 为 特征 
子 空间 (eigenspace). 


我 们 一 般 讨 论 实 和 矩阵 的 特征 值 问 题 . 应 注意 , 实 矩 阵 的 特征 值 和 特征 向 量 不 一 定 是 实 


Q@ 如 果 用 有 限 次 运算 能 求 得 一 般 和 矩阵 的 特征 值 ' 则 多 项 式 方程 求 根 问 题 也 可 用 有 限 次 运算 解决 ,这 与 阿 贝 尔 证 明 
的 “高 于 4 次 的 多 项 式 并 不 都 有 用 初等 运算 表示 的 求 根 公式 ”的 理论 矛盾 . 
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数 和 实 向 量 , 但 实 特征 值 一 定 对 应 于 实 特征 向 量 ( 方 程 (5.1) 的 解 ) ,而 一 般 的 复 特征 值 对 应 
的 特征 向 量 一 定 不 是 实 向 量 . 此 外 ,车 特征 值 不 是 实数 , 则 其 复 共 斩 也 一 定 是 特征 值 (由 于 
特征 方程 为 实 系 数 方程 ). 定理 3. 3 表明 , 实 对 称 和 矩阵 4ER” "的 
特征 值 均 为 实数 ,存在 7 个 线性 无 关 且 正 交 的 实 特征 向 量 , 即 存 和 
在 由 特征 值 组 成 的 对 角 阵 和 特征 向 量 组 成 的 正 交 阵 @ ,使 得 mi 1 
A=0Q 07. (5. 3) 
例 $5. 1( 弹 簧 -质点 系统 ): 考虑 图 5-1 的 弹簧 -质点 系统 ,其 
中 ,包括 三 个 质量 分 别 为 mm za .zza 的 物体 ,由 三 个 弹性 系数 分 2 . 
别 为 妈 .hs 的 弹 纂 相连 ,三 个 物体 的 位 置 均 为 时 间 的 函数 ,这 A 
里 考察 三 个 物体 偏离 平衡 位 置 的 位 移 , 分 别 记 为 wm (Cr)、yz (1)、 8 
(0. 因为 物体 在 平衡 状态 所 受 的 重力 已 经 和 弹簧 伸 长 的 弹力 宇 人 
平衡 ,所 以 物体 的 加 速度 只 和 偏离 平衡 位 置 引起 的 弹 签 伸 长 相 。 轴 ;1 阐 针 -质点 系统 
关 . 根据 牛顿 第 二 定律 以 及 胡 克 定律 ( 即 弹簧 的 弹力 与 拉 伸 长 度 
成 正比 ) 可 列 出 如 下 微分 方程 组 ?: 
My’ (1) + Ky(t) 一 0， 
其 中 ,y==[y1(t) (GD ys(1)]', 
m 0 0 ki 十 Rz —k, 0 
"| m2 | -| ks 十 ks 一 ks 
0 0 ms 0 — ks ks 
在 一 般 情况 下 ,这 个 系统 会 以 自然 频率 w 做 谐 波 振动 ,而 y 的 通 解 包含 如 下 的 分 量 : 
yt) = zxew, (j=1,2,3), 
其 中 ,= V 一 1 ,根据 它 可 求解 出 振动 的 频率 w 及 振幅 zx;. 由 这 个 式 子 可 得 出 
WO =—w re (j= 12.3), 


代入 微分 方程 ,可 得 代数 方程 


—w Mx+Kx 一 0， 
或 
Ax = Ax,， 
其 中 ,A 一 MK,4 二 ww . 通过 求解 矩阵 A 的 特征 值 便 可 求 出 这 个 弹簧 -质点 系统 的 自然 频率 
(有 多 个 ). 再 结合 初始 条 件 可 确定 这 三 个 位 移 函 数 , 它 们 可 能 按 某 个 自然 频率 振动 ( 简 正 振 
动 ) ,也 可 能 是 若干 个 简 正 振动 的 线性 爱 加 . 国 
例 5.2( 根 据 定义 计算 特征 值 、 特 征 向 量 ): 求 矩 阵 


i es 
-| 1 | 
4 一 2 1 


@ 本 书 第 8 章 将 介绍 这 种 常 微分 方程 组 的 数值 求解 方法 . 


的 特征 值 和 特征 向 量 . 
【 解 】 和 矩阵 4 的 特征 方程 为 
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det(AI 一 4) 一 


3 . 流 二 了 


一 4 2 大 = 一 吉 
故 4 的 特征 值 为 1: 一 3, 一 2( 二 重 特征 值 ). 


一 (一 3)( 一 2) 三 0， 


当 A=1==3 时 ,由 (CT 一 4)x 一 0, 得 到 方程 
i 
| 


| 


它 有 无 穷 多 个 解 , 若 假设 盖 王 1， 则 求 出 解 为 x 一 [1,1,1], 记 为 习 , 则 阅 是 对 应 的 一 个 


特征 向 量 . 


当 )= 一 1 一 2 时 ,由 (MT 一 4A)x 一 0, 得 到 方程 


一 全 Ti 0 
一 4 2 1 了 0 


它 有 无 穷 多 个 解 , 若 假设 xz 二 1, 则 求 出 解 为 x 二 [1,1,2] , 记 为 xm , 则 > 六 是 Xs 对 应 的 一 个 


特征 向 量 . 


图 
下 面 概括 地 介绍 有 关 和 矩阵 特征 值 \ 特 征 向 量 的 一 些 性 质 ,它们 可 根据 定义 5.1 以 及 
公式 (5.2) 加 以 证 明 . 
定理 5.1; 设 罗 Gj 二 1,2,…,n) 为 n 阶 矩 阵 A 的 特征 值 , 则 
(i Sy 一 SY = tr(A). 
j=1 j=1 
(2) TI», = det(A). 
这 里 tr(4) 表 示 和 矩阵 对 角 线 上 元 素 之 和 , 称 为 矩阵 的 迹 (trace). 
从 上 述 结论 (2) 也 可 以 看 出 , 非 奇 异 和 矩阵 特征 值 均 不 为 0, 而 0 一 定 是 奇异 矩阵 的 特 
征 值 . 


定理 5.2: 和 拢 阵 转 置 不 改变 特征 值 , 即 (4) 王 (47). 
定理 $.3: 若 和 矩阵 4 为 对 角 阵 或 上 (下 ) 三 角 阵 , 则 其 对 角 线 元 素 即 为 矩阵 的 特征 值 . 
定理 5.4: 若 和 矩阵 A 为 分 块 对 角 阵 ,或 分 块 上 (下 ) 三 角 阵 ,例如 

A A ER Ain 


Ainm 
中 ,每 个 对 角 块 Aj; 均 为 方 阵 , 则 和 矩阵 4 的 特征 值 为 各 对 角 块 矩阵 特征 值 的 合并 , 即 4(4)= 
Ui. 


定理 5.5: 矩阵 的 相似 变 挨 (similarity transformation) 不 改变 特征 值 . 设 和 矩阵 A 和 B 
为 相似 矩阵, 即 存在 非 奇 异 和 矩阵 关 使 得 B 二 XX 4X, 则 


(1) 和 矩阵 4 和 B 的 特征 值 相等 , 即 A4(4) 二 4(B). 
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(2) 若 y 为 B 的 特征 向 量 , 则 相应 地 ,Xy 为 4 的 特征 向 量 . 

通过 相似 变换 并 不 总 能 把 矩阵 转化 为 对 角 阵 ,或 者 说 和 矩阵 A 并 不 总 是 可 对 角 化 的 
(diagonalizable). 下 面 给 出 特征 值 的 代数 重 数 . 几何 重 数 和 亏损 矩阵 的 概念 ,以 及 几 个 
定理 . 

定义 5.2: 设 矩 阵 4ER 因 有 7 个 (zsz) 不 同 的 特征 值 N ,… ,7 ,车 4; 是 特征 方程 的 
n; 重 根 , 则 称 n; 为 A; 的 代数 重 数 (algebraic multiplicity) ,并 称 A; 对 应 的 特征 子 空 间 (C" 的 
子 空间 ) 的 维 数 为 A; 的 几何 重 数 (geometric multiplicity). 

定理 5.6: 设 和 矩阵 4E R”* 的 m 个 不 同 的 特征 值 为 Xi ,… ,4 ,特征 值 A(j 二 1,…,m) 的 
代数 重 数 为 nj ,几何 重 数 为 &;, 则 

(iB) Dn 三 n , 且 任 一 个 特征 值 的 几何 重 数 不 大 于 代数 重 数 , 即 Vj ,nj 三 kj. 


j=1 


(2) 不 同 特征 值 的 特征 向 量 线性 无 关 , 并 且 将 所 有 特征 子 空间 的 by 个 基 ( 特 征 向 量 ) 


放 在 一 起 ,它们 构成 一 组 线性 无 关 向 量 . 

(3) 若 每 个 特征 值 的 代数 重 数 等 于 几何 重 数 , 则 总 共 可 得 ”个 线性 无 关 的 特征 向 量 , 它 
们 是 全 空间 C" 的 基 . 

定义 5.3: 若 和 矩阵 4ER" "的 某 个 代数 重 数 为 & 的 特征 值 对 应 的 线性 无 关 特 征 向 量 数 
目 少 于 A( 即 几何 重 数 小 于 代数 重 数 ) , 则 称 A 为 亏损 阵 (defective matrix) ,否则 称 其 为 非 亏 
损 阵 (nondefective matrix). 

定理 5.7: 矩阵 4ER" "可 对 角 化 的 充 要 条 件 是 4 为 非 亏损 矩阵 . 若 A 可 对 角 化 , 即 存 
在 非 奇 异 和 矩阵 XEC“ "使 得 


bb 

其 中 ， EC” 为 对 角 阵 , 则 的 对 角 线 元 素 为 矩阵 4 的 特征 值 ,而 矩阵 X 的 列 向 量 为 n 个 
线性 无 关 的 特征 向 量 . 

定理 5.7 中 方程 的 等 价 形式 为 4 一 X X !', 它 被 称 为 特征 值 分 解 ,也 称 为 谱 分 解 
(spectrum decomposition). 特征 值 分 解 存 在 的 充 要 条 件 是 A 为 非 亏 损 和 矩阵 . 但 现实 中 还 有 
很 多 和 矩阵 是 亏损 矩阵 ,例如 例 5. 2 中 的 和 矩阵, 它 的 特征 值 2 的 代数 重 数 为 2, 而 几何 重 数 仅 
为 1. 这 种 矩阵 不 能 相似 变换 为 对 角 阵 ,但 存在 下 面 的 约 当 分 解 (Jordan decomposition). 

定理 5.8: 设 和 矩阵 4ER”", 存在 非 奇 异 和 矩阵 XEC”" 使 得 


A= XIJX'!, 
完 。 所 
矩阵 ,为 形 如 的 分 块 对 角 阵 ( 称 为 约 当 标 准 型 ), 其 中 ,天 一 a 
J 


A 
1 三 sp, 称 为 约 当 块 ,其 对 角 线 元 素 为 窍 阵 4 的 特征 值 . 设 和 矩阵 A 有 mm 个 不 同 的 特征 值 为 
A A ,特征 值 MN; Gj 二 1,…,m) 的 代数 重 数 为 7 ,几何 重 数 为 局 ， 则 六 二 2 A 对 应 于 
k; 个 若 当 块 ( 对 角 元 均 为 A;)， 其 阶 数 之 和 等 于 nn. 


在 约 当 分 解 中 ,如 果 所 有 约 当 块 都 是 1 阶 的 , 则 J 为 对 角 阵 , 这 种 分 解 就 是 特征 值 分 解 ， 
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相应 的 矩阵 为 非 亏 损 阵 . 约 当 分 解 是 很 有 用 的 理论 工具 ,利用 它 还 可 证 明 下 面 关 于 和 矩阵 运 
算 结 果 的 特征 值 的 定理 . 

定理 $.9: 设 )G 王 1,2,…，,7) 为 对 阶 和 矩阵 4 的 特征 值 , 则 

(1) 矩阵 cd(c 为 常数 ) 的 特征 值 为 cA1 ,chs ，… ,cA,. 

(2) 矩阵 4 十 cf(c 为 常数 ) 的 特征 值 为 M: 十 c,hz 十 c,…… ,A 十 c. 

(3) 矩阵 A*(k 为 正 整数 ) 的 特征 值 为 验 ，A 和 1. 

(4) 设 p01) 为 一 多 项 式 函 数 , 则 和 矩阵 p(4) 的 特征 值 为 p41) ,pCXs)，… ,pA,). 

(5) 车 A 为 非 奇 异 和 矩阵 , 则 Xjy 隆 0(j 二 1,2,…,n), 且 矩阵 A 的 特征 值 为 人 ii， 
pe mt 


5.1.2 特征 值 分 布 范 围 的 估计 


估计 特征 值 的 分 布 范 围 或 它们 的 界 ,无 论 在 理论 上 或 实际 应 用 上 ,都 有 重要 意义 . 比 
如 ,本 书 前 面 的 内 容 曾 涉及 两 个 问题 . 


_ /Xmx(A 4) 
(1) 计算 矩阵 的 2- 条 件数 : cond(4): 一 、 /CATA7 


(2) 考察 1 阶 定常 迭代 法 x** ?三 Bx 十 了 的 收敛 性 收敛 速 度 ,收敛 的 判 据 是 谱 半径 
p(B)= max a;(B) | 到 1, 收敛 速度 为 R= 一 logiop(B). 
其 中 ,都 需要 对 和 矩阵 特征 值 分 布 范围 的 了 解 ， 
第 4 章 的 定理 4.4 说 明 谱 半 径 的 大 小 不 超过 任何 一 种 算 子 范 数 , 即 
o(4) 入 1 41， 
这 是 关于 特征 值 的 上 界 的 一 个 重要 结论 . 
下 面 先 给 出 定义 5. 4, 再 介绍 有 关 特 征 值 的 界 的 另 一 个 重要 结论 . 


定义 5.4; 设 A=(ay)ECY", 记 7 二 》) | | (4 二 1,…,n), 则 集合 Di=={z:|z 一 
j=1 


jk 
am | 二 7 ,ZEC}(k 二 1,…,n) 在 复 平面 为 以 aw 为 圆心 、 
rs 为 半径 的 圆 盘 , 称 为 A 的 Gerschgorin( 格 什 各 林 ) 
圆 盘 . 
图 5-2 显示 了 一 个 3X3 复 矩 阵 的 格 什 戈 林 圆 盘 . 
定理 $.10( 圆 盘 定理 ) : 设 A=(ay)EC”™", 则 : 
(1) A 的 每 一 个 特征 值 必 属于 A 的 格 什 芷 林 圆 盘 


图 5-2 复 坐 标 平 面 ,以 及 3X3 和 矩阵 A 
yy 以 守 存 
之 中 , 即 对 任 一 特征 值 ”必定 存在 k(1<h<n) ,使 得 的 折 六 袍 加 


[Rw le So kk (5. 4) 
多 
用 集合 的 关系 来 说 明 , 这 意味 着 2(4) 【Di. 
(2) 车 A 的 格 什 臣 林 圆 盘 中 有 m 个 圆 盘 组 成 一 连通 并 集 S, 且 S 与 余下 的 n 一 m 个 圆 
盘 分 离 , 则 S 内 恰好 包含 4 的 m 个 特征 值 ( 重 特征 值 按 重 数 计 ). 
对 如 图 5-2 所 示 的 例子 ,定理 5. 10 的 第 (2) 个 结论 的 含义 是 : Di 中 只 包含 一 个 特征 
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值 ,而 另外 两 个 特征 值 在 D; .D; 的 并 集中 . 下 面 对 定 理 5. 10 的 结论 (1) 进 行 证 明 ,结论 (2) 
的 证 明 超 出 了 本 书 的 范围 . 

【证 明 】 设 ) 为 4 的 任 一 特征 值 , 则 有 Ax= 二 Xx ,x 为 非 零 向 量 . 设 x 中 第 k 个 分 量 最 
大 , 即 


| ze |= max | x; |> 0， 
l1<j<n 


考虑 方程 (5.2) 中 第 个 方程 


3 = Mcps 
将 其 中 与 ze 有 关 的 项 移 到 等 号 左边 ,其 余 移 到 右边 ,再 两 边 取 模 得 


1 一 we || ze |= | Dasz, 
j=1 
jk j 基 


jk k 

最 后 一 个 不 等 式 的 推导 利用 了 “x 中 第 & 个 分 量 最 大 ”的 假设 . 将 不 等 式 (5.5) 除 以 |x|, 即 
得 到 式 (5.4) ,因此 证 明了 定理 5. 10 的 结论 (1). 上 述 证 明 过 程 还 说 明 , 若 某 个 特征 向 量 的 
第 & 个 分 量 的 模 最 大 , 则 相应 的 特征 值 必定 属于 第 & 个 圆 盘 中 . 国 

根据 定理 5. 2, 还 可 以 按照 矩阵 的 每 一 列 元 素 定 义 交 个 圆 盘 ,对 于 它们 定理 5. 10 仍然 
成 立 . 下 面 的 定理 是 圆 盘 定理 的 重要 推论 ,其 证 明 留 给 感 兴趣 的 读者 . 

定理 5.11: 设 4AER“”", 且 4 的 对 角 元 均 大 于 0, 则 

(1) 车 A 严格 对 角 占 优 , 则 4 的 特征 值 的 实 部 都 大 于 0. 

(2) 若 4 为 对 角 占 优 的 对 称 和 矩阵 , 则 4 一 定 是 对 称 半 正 定 矩 阵 , 若 同时 4 非 奇异 , 则 4 
为 对 称 正 定 和 矩阵 . 

例 $.3( 圆 盘 定理 的 应 用 ): 试 估 计 和 矩阵 


< [lls la 人 (5.5) 
j=1 j=t 


4 1 0 
A=|l1 0 一 1 
1] 1 一 4 


的 特征 值 范围 . 
【 解 】 直接 应 用 圆 盘 定理 ,该 矩阵 的 三 个 圆 盘 如 下 : 
Di: 11 一 4| 乏 1，PD: 11 人 | 过 2，Ds :11 十 4| 过 2. 
Di 与 其 他 圆 盘 分 离 , 则 它 仅 含 一 个 特征 值 , 且 必定 为 实数 ( 若 为 虚数 则 其 共 斩 也 是 特征 值 ， 
这 与 Di 仅 含 一 个 特征 值 矛 盾 ). 所 以 对 矩阵 特征 值 的 范围 的 估计 是 
3 过 而 和 妥 吕 而 丰 站 天 世态 : 
再 对 和 矩阵 A” 应 用 圆 盘 定理 , 则 可 以 进一步 优化 上 述 结果 . 矩阵 4: 对 应 的 三 个 圆 盘 为 
Di: 14—4| 志 2,，Dz: |4| 志 2， Ds: 14+4| 志 1. 
这 说 明 Di; 中 存在 一 个 特征 值 , 且 为 实数 , 它 属于 区 间 [ 一 5， 一 3], 经 过 综合 分 析 可 知 三 
个 特征 值 均 为 实数 ,它们 的 范围 是 
五 冯 [3 5， 全 [E22]; 大生 [5 一 3]. 
事实 上 ,使 用 MATLAB 的 eig 命令 可 求 出 矩阵 4 的 特征 值 为 4 2030, 一 0. 4429 ,一 3.7601， 国 
根据 定理 5. 5, 还 可 以 对 抢 阵 A 做 简单 的 相似 变换 ,例如 取 X 为 对 角 阵 ,然后 再 应 用 圆 
盘 定 理 估计 特征 值 的 范围 . 
例 $.4( 特 征 值 范 围 的 估计 ) : 选取 适当 的 和 矩阵 善 , 应 用 定理 5. 5 和 定理 5. 10 估计 例 5.3 
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中 矩阵 的 特征 值 范围 . 
【 解 】 取 
1 0 0 
演 ， 呈 1 0 | 
0 0 0.9 
则 
4 1 0 
= | 0 ， 一 10/9 
0.9 0.9 一 4 


的 特征 值 与 4 的 相同 . 对 4; 应 用 圆 盘 定 理 , 得 到 三 个 分 离 的 圆 盘 , 它 们 分 别 包含 一 个 实 特 
征 值 ,由 此 得 到 特征 值 的 范围 估计 
_19 19 


二 二 元 二 [ 5 本 塌 芷 -8 二 去 乾 ， 


此 外 ,还 可 进一步 估计 o(4) 的 范围 , 即 3<p(4) 过 5. 8. 而 

上 述 例子 表明 ,综合 运用 圆 盘 定理 和 和 矩阵 特征 值 的 性 质 (如 定理 5.2、 定 理 5.5) ,可 对 特 
征 值 的 范围 进行 一 定 的 估计 . 对 具体 例子 ,可 适当 设置 相似 变换 矩阵 , 尽 可 能 让 圆 盘 相 互 分 
离 , 从 而 提高 估计 的 有 效 性 . 


5.2 用 法 与 反 蝴 法 


震 法 是 一 种 计算 矩阵 最 大 的 特征 值 及 其 对 应 特征 向 量 的 方法 . 本 节 介 绍 震 法 、 反 震 法 
以 及 加 快 索 法 迭代 收敛 的 技术 . 


5.2.1 大法 


定义 5.5: 在 和 矩阵 4 的 特征 值 中 , 模 最 大 的 特征 值 称 为 主 特征 值 , 也 称 为 “第 一 特征 
值 ”, 它 对 应 的 特征 向 量 称 为 主 特征 向 量 . 

应 注意 的 是 , 主 特征 值 有 可 能 不 唯一 ,因为 模 相同 的 复数 可 以 有 很 多 . 例如 模 为 5 的 特 
征 值 可 能 是 5, 一 5,3 十 4i,3 一 4i, 等 等 . 另外 ,请 注意 谱 半 径 和 主 特征 值 的 区 别 . 

如 果 和 矩阵 A 有 唯一 的 主 特征 值 , 则 通过 需 法 能 方便 地 计算 出 主 特征 值 及 其 对 应 的 特征 
向 量 . 对 于 实 和 矩阵 ,这 个 唯一 的 主 特征 值 显然 是 实数 ,但 不 排除 它 是 重 特征 值 的 情况 ， 晨 法 
(power iteration) 的 计算 过 程 是 ,首先 任 取 一 非 零 向 量 v。€ R" ,再 进行 迭代 计算 

vi = Avi, (k=1,2,.) 
得 到 向 量 序列 {vw} ,根据 它 即 可 求 出 主 特征 与 特征 向 量 . 下 面 用 定理 来 说 明 . 

定理 5.12: 设 AE R”" ,其 主 特征 值 唯一 , 记 为 ia: ,使 用 非 零 向 量 wE R" 按 迭代 公式 进 
行 计算 : 

则 一 般 有 : 
(1) lim eo) 一 0 ， (5. 6) 
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其 中 ,(w); 表示 向 量 wx 的 第 7 个 分 量 , 且 j 的 取 值 保证 存在 主 特征 向 量 xi 使 (x1); 取 0。 

(2) 若 ) 的 几何 重 数 等 于 代数 重 数 , 则 

lim Tt = x , (5.7) 
其 中 ,x 为 某 个 主 特征 向 量 . 

【证 明 】 为 了 推导 简便 ,不 妨 设 主 特征 值 4 不 是 重 特征 值 , 并 且 假 设 和 矩阵 4 为 非 亏 损 
矩阵. 设 A 的 个 特征 值 按 模 从 大 到 小 排列 为 | | 二 142 | 三 … 三 41, 它们 对 应 于 一 组 线性 
无 关 的 单位 特征 向 量 襄 ,…, 语 ,. 向 量 w。 可 写成 这 些 特征 向 量 的 线性 组 合 

Vo = mihi 十 十 Qn Xs 
一 般 情况 下 »Q1 天 0, 则 


k 人 全 人 二 人 下 
ok 一 ATDF1 4 mo alAliXl 十 azh2 Xo 十 … 十 QnAn 无， 


a 
一 对 | ma 十 Da (TY) 站]|= 难 (aa 让 
j=2 1 
A 


其 中 ，, = w (全) Ej 由 于 | 芋 | 0= 2 一， 则 
Al Al 


.Uk 
lim :=0 =S lim= = ak. 
gn Ee A 


由 于 特征 向 量 放大 ,缩小 任意 倍数 后 仍 是 特征 向 量 , 设 x 二 a 六 , 则 它 是 主 特征 对 应 的 一 个 
特征 向 量 ， 上 式 说 明 , 随 着 k 的 增 大 ,wv 越 来 越 趋 近 于 主 特征 值 对 应 的 特征 向 量 . 
设 j 为 1 到 nn 之 间 的 整数 , 且 (vw); 隆 0, 则 


(VHD; 于 (al 济 £11); 
Cw); (ai 总 十 8); 


由 于 lim ,二 0, 随 的 增 大 上 式 等 号 右边 趋 于 一 个 常数 入 .这 就 证 明了 定理 的 结论 . 

若 矩 阵 4 为 亏损 矩阵 ,可 利用 矩阵 的 若 当 分 解 证 明 公式 (5.6), 这 里 略 去 . 在 这 种 情况 
下 ,公式 (5.6) 的 收敛 速度 可 能 很 慢 . 

关于 定理 5. 12 ,再 说 明 几 点 . 

(1) 从 理论 上 讲 ,定理 5. 12 成 立 的 前 提 条 件 还 应 包括 天 0. 特别 地 , 若 初 始 向 量 vo 
为 某 个 非 主 特征 值 对 应 的 特征 向 量 , 则 公式 (5.6) 和 公式 (5.7) 求 出 的 就 是 那个 特征 值 与 
特征 向 量 . 然而 在 实践 中 ,车 随机 选取 w, 且 由 于 计算 的 舍 人 误差 ,上 述 考虑 是 无 足 轻 
重 的 . 

(2) 公式 (5.6) 的 含义 是 相 邻 迭代 向 量 分 量 的 比值 收敛 到 主 特征 值 . 其 中 j 的 取 值 需 保 
证 (X1); 才 0. 在 实际 计算 时 ,可 取 ws 中 最 大 的 分 量 对 应 的 那个 j. 

直接 使 用 宪法 ,还 存在 如 下 两 方面 问题 . 

(1) 溢出 : 由 于 vi 之 Xn , 则 

| 和 | 二 1 时 ,实际 计算 wi 会 出 现 上 溢出 ( 当 & 很 大 时 ). 

[X11 过 1 时 ,实际 计算 ww 会 出 现下 溢出 ( 当 & 很 大 时 ). 


(2) 可 能 收 策 速 度 很 慢 . 由 于 二 了》 (站) = ， ,一 0 的 速度 取决 于 求 和 式 中 训 减 最 
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很 慢 . 由 此 导致 w -ha ， i 1 的 收 化 速度 都 将 


很 慢 ,严重 影响 计算 的 效率 . 

下 面 采用 规格 化 向 量 的 技术 防止 溢出 ,导出 实用 的 窜 法 . 关于 加 速 收敛 技术 的 讨论 , 见 
5 2.2 

定义 5.6: 记 max(v) 为 向 量 v€ R" 的 绝对 值 最 大 的 分 量 , 即 max(wv) 二 wv, 其 中 ,j 满足 
[vw| = maxlv|, 若 j 的 值 不 唯一 , 则 取 最 小 的 那个 . 并 且 , 称 4 二 wv/max(v) 为 向 量 v 的 规 
税 伺 高 二 (nexinajizad vector). 

例 5.5( 规 格 化 向 量 ): 设 v 二 [3, 一 5,0]',max(v) 二 一 5, 对 应 的 规格 化 向 量 为 


“=[ 一 宇 ,1,0] . 
根据 定义 5. 6, 容 易 得 出 规格 化 向 量 的 两 条 性 质 
定理 5.13: 定义 5.6 中 的 规格 化 向 量 满足 如 下 两 条 性 质 
(1) 若 为 规格 化 向 量 , 则 | zl - =1, 并 且 max(Cz) 一 1. 
(2) 设 向 量 w 和 w 的 规格 化 向 量 分 别 为 w 和 wi, 车 v1 二 qv ,实数 a 取 0, 则 二 tw. 
在 震 法 的 每 一 步 增加 向 量规 格 化 的 操作 可 解决 溢出 问题 . 先 看 第 一 步 , vi 二 Avo ,此 时 
计算 wi 的 规格 化 向 量 


= 1 Avo 
max( vi) max(Auo) 
后 使 用 规格 化 向 量 计 算 vw? 
2 
= (5. 8) 
max(Avo) 
进行 向 量规 划 化 操作 ， 
2 
PE (5.9) 
max(Cu) max(A’wvwo) 
公式 (5.9) 的 推导 利用 了 式 (5.8) 和 定理 5. 13 的 结论 (2). 依 此 类 推 , 我 们 得 到 
A*wo 
= Au; 三 一 一 
| a max(A”“! wo) 
(k= 1,2,.…). (5. 103 
| 加 Uk 加 A* vo 
: max( v,) max(A* vo ) 


根据 定理 5.12 的 证 明 过 程 ， 


大 一 二 p | 
A* Do Xa 1 2 人) Xj 


ye 
Su = 


max(A* vo ) max (a 名 2 fe 局] maxCxrl) 


即 wu 逐渐 允 近 规格 化 的 主 特征 向 量 . 同 理 ， 
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x[a s+ > (和 2) 5 | 


ve =Au = = 
max(4 wo) max (Af [a 名 十 2 位 ) 二 ]) 
要 i Fs 


a n kl 
max (a 订 t+ 2 (名 ) 己 ) 


因此 ,根据 定理 5.13 的 结论 (1) 有 


Xl 


limw 三 0 一 lim max(v:) = Al. 


max(x1) 
基于 上 述 推 导 , 得 到 如 下 定理 ,以 及 如 算法 5. 1 描述 的 实用 其 法 . 应 注意 的 是 ,由 于 x 六 0， 
则 max(Cx ) 关 0. 
定理 5.14: 设 4AER” ", 其 主 特征 值 唯一 , 记 为 ,随机 取 一 非 零 初始 向 量 w, 设 w= 
vo , 按 迭 代 公 式 (5.10) 进 行 计算 , 则 


limw = —2—, (5.11) 
Ac max(x1) 
lim max( vw) = Cal23 


其 中 ,x 为 主 特征 向 量 . 


算法 5.1: 计算 主 特征 值 M 和 主 特征 向 量 x 的 实用 和 客 法 . 
输入 : 4; 输出 : xi ,和 1. 


u :一 随机 向 量 ; 
While 不 满足 判 停 准 则 do 
v :一 AU; 
A :=max(v); { 主 特征 值 近似 值 } 
u := V/A; {规格 化 } 
End 
Xi :=u. {规格 化 的 主 特征 向 量 } 


在 算法 5.1 中 ,可 根据 相 邻 两 步 迭代 得 到 的 主 特征 值 近似 值 之 差 来 判断 是 否 停 止 迭 代 . 
每 个 迭代 步 的 主要 计算 是 算 一 次 矩阵 与 向 量 乘法 , 若 4 为 稀 玻 和 矩阵 则 可 利用 它 的 稀 玻 性 提 
高 计算 效率 . 实用 的 宪法 保证 了 向 量 序列 (wi)、{wui) 不 溢出 ,并 且 向 量 vi 的 最 大 分 量 的 极 
限 就 是 主 特征 值 . 

最 后 ,针对 需 法 的 适用 范围 再 说 明 两 点 . 

(1) 若 实 矩 阵 4 对 称 半 正 定 或 对 称 半 负 定 , 则 其 主 特征 值 必 唯 一 (而 且 是 非 亏 损 阵 ). 
有 时 也 可 以 估计 特征 值 的 分 布 范围 ,从 而 说 明 主 特征 值 的 唯一 性 . 只 有 满足 此 条 件 ,才能 保 
证 老 法 的 收敛 性 . 

(2) 对 一 般 的 矩阵 , 竹 法 的 迭代 过 程 有 可 能 不 收敛 ,此 时 序列 {wu} 有 可 能 包括 多 个 收敛 
于 不 同 向 量 的 子 序列 , 它 趋向 于 成 为 多 个 特征 向 量 的 线性 组 合 . 但 是 一 旦 短 法 的 迭代 过 程 
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收敛 ,向 量 序列 的 收敛 值 就 一 定 是 特征 向 量 ,并 可 求 出 相应 的 特征 值 . 
例 5. 6( 实 用 的 寡 法 ) : 用 实用 的 竹 法 求 如 下 矩阵 的 主 特征 值 : 


3 工 
= Bb | 
【 解 】 取 初 始 向 量 为 w 二 w 二 [0 ”1J". 按 算法 5. 1 的 迭代 过 程 ,计算 结果 列 于 表 5-1 中 . 
表 5-1 实用 究 法 的 迭代 计算 过 程 


k vi max( vw) ur 

0 0.000 0 
1 1.0 3. 000 3. 000 0.333 0 
2 2.0 3.333 3.333 0.600 0 
3 2.800 3.600 3. 600 0.778 0 
4 3.333 .778 3.778 0. 882 0 
5 3.647 3.882 3. 882 0.939 ld 
6 3.818 3,939 3.939 0.969 “0 
‘ 3.908 3.969 3.969 0.984 1.0 
8 3.953 3.984 3. 984 0.992 vo 
9 3.977 3.992 3. 992 0.996 0 


从 结果 可 以 看 出 ,在 每 次 达 代 步 中 做 的 规格 化 操作 避免 了 分 量 的 指数 增 大 或 缩小 ， 经 过 
9 步 迭代 ,特征 值 WaxC wv) 已 非常 接近 主 特征 什 的 准确 值 4, 特 征 向 量 也 非常 接近 [1 1]"， 国 


5.2.2 加 速 收敛 的 方法 


加 速 蝴 法 迭代 收敛 过 程 的 方法 主要 有 两 种 : 原点 位 移 技术 和 瑞 利 商 (Rayleigh 
quotient) 加 速 . 下 面 做 些 简 略 的 介绍 . 

1. 原点 位 移 技 术 

原点 位 移 技 术 也 称 为 原点 平移 技术 , 它 利 用 定理 5. 9 的 结论 (2), 即 矩阵 A 一 pI 的 特征 
值 为 4 的 特征 值 减 去 p 的 结果 . 对 矩阵 如 =4 一 训 应 用 寡 法 有 可 能 得 到 矩阵 4 的 某 个 特征 
值 M 和 相应 的 特征 向 量 . 要 使 原点 位 移 达 到 理想 的 效果 ,首先 要 求 %j 一 p 是 B 的 主 特征 值 ， 


其 次 还 要 使 宕 法 尽快 收敛, 即 比例 让 名 | 要 尽量 小 ,这 里 的 入 (B) 表 示 和 矩阵 B 的 ( 按 模 ) 第 


二 大 的 特征 值 . 

在 某 种 情况 下 设置 合适 的 少 值 ,矩阵 A.B 可 同时 取 到 主 特征 值 . 图 5-3 显示 了 这 样 一 
个 例子 ,矩阵 4 的 特征 值 分 布 在 阴影 区 域 覆盖 的 实数 轴 
上 ,Ni 为 其 主 特征 值 ， 按 图 5-3 所 示 选 取 的 p 值 将 使 得 

一 2 是 和 矩阵 B= 二 A 一 pI 的 主 特征 值 ,并 有 旦 显然 有 
2 和 
此 时 用 军法 计算 B 的 主 特征 值 能 更 快 地 收敛 ,进而 得 到 矩 
图 5 3 原点 位 移 技术 示意 图 。 阵 A 的 主 特征 值 . 图 5-3 也 解释 了 原点 位 移 法 名 字 的 由 
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来 ,即将 原点 (或 虚数 坐标 轴 ) 移 到 p 的 位 置 上 ,原始 和 矩阵 A 的 特征 值 分 布 变 成 了 和 矩阵 B 的 
特征 值 分 布 . 

采用 原点 位 移 技术 后 ,执行 军法 仅 带 来 很 少 的 额外 运算 ,而 且 仍 然 能 利用 矩阵 4 的 稀 
玖 性 . 它 的 关键 问题 是 ,如 何 选择 合适 的 参数 p 以 达到 较 好 的 效果 ?这 依赖 于 具体 矩阵 的 
情况 ,以 及 对 其 特征 值 分 布 的 了 解 . 在 后 面 ,还 会 看 到 原点 位 移 技术 的 其 他 用 途 . 

2. 瑞 利 商 加 速 

首先 给 出 瑞 利 商 的 定义 ,以 及 它 与 特征 值 的 关系 ,然后 介绍 瑞 利 商 加 速 技术 . 

定义 5.7: 设 4ER”", 且 为 对 称 和 矩阵 ,对 任 一 非 零 向 量 x 夫 0 , 称 


(Ax ,X) 
(Xx,X) 


为 对 应 于 向 量 x 的 瑞 利 商 . 这 里 符号 (,) 代 表 向 量 内 积 . 
定理 5.15; 设 AER”", 且 为 对 称 和 矩阵 ,其 个 特征 值 依次 为 Xi 三 X; 宇 … 三 %,, 则 和 矩阵 A 
有 关 的 瑞 利 商 的 上 下 确 界 分 别 为 和 7,. 即 Yx 天 0， 
ph ED 
且 当 x 为 A1 对 应 的 特征 向 量 时 R(X) 二 1 , 当 x 为 4, 对 应 的 特征 向 量 时 R(x)=A， 
【证 明 】 根据 实 对 称 和 矩阵 的 特点 , 即 可 正 交 对 角 化 (定理 3. 3) , 设 特征 值 Ne， 


对 应 的 单位 特征 向 量 为 ea, 设 x= on, 则 (rz 二 《Dlax), Dlwxj》= 
i=1 i=1 j=1 
> ) 史 ,而 
j=1 
CMrs3) = adns yar y= (Da Do; ) = 
j=1 j=1 了 j=1 j=1 
2 De 


R(x) = 


CAX sw) 二 j=1 三 :项 
(x,xX) 加 EY 
> 
类 似 地 ,可 以 推出 ss > 
更 进一步 , 若 xz 一 刁 , 则 疮 于 全 一 1 车 x 一 吉 , 则 汪 一 4,. 因此 , 原 命题 得 证 。 国 
应 当 注 意 , 瑞 利 商 与 矩阵 算 子 范 数 定义 中 的 -人 3 很 相似 ,但 不 一 样 . 在 2- 范 数 意 义 


下 ,矩阵 范 数 ‖ 4 1，* 是 矩阵 474 的 瑞 利 商 最 大 值 的 算术 平方 根 . 

定理 5.15 表明 , 实 对 称 矩 阵 的 瑞 利 商 尺 (xz) 取 值 在 特征 值 谱 范围 内 , 且 与 特征 向 量 * 对 
应 的 RCz) 等 于 相应 的 特征 值 . 在 实用 的 需 法 中 , 几 逐渐 趋 近 于 主 特征 向 量 xi ,那么 
R(w) 和 1, 计算 瑞 利 商 能 否 更 好 地 双 近 九 呢 ? 

定理 5.16: 设 4 为 实 对称 和 矩阵 , 且 主 特征 值 唯一 , 记 为 ,应 用 老 法 (算法 5.1), 则 
式 (5. 10) 中 规格 化 向 量 w 的 瑞 利 商 尽 Cmw ) 满 足 


Rey ge ole) ); 


(Ug » Uk 
其 中 ,Xs 为 ( 按 模 ) 第 二 大 的 特征 值 . 
BE 
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对 此 定理 的 证 明 不 要 求 , 感 兴趣 的 读者 请 参考 文献 [8]. 下 面 解释 一 下 结论 
在 实用 的 寡 法 中 ， 


en t Do ne 
2 


Vi 二 A 


max (mn 十 > 


mertw, d= 并 max (a 十 > 位) 5) Eo max (mn to (EE) x ) 
max (mn 丰 > ( 亿 ) x) max (a ag Ey 
中 k 
沁 光 si -全 一 - 0 a 


Xz) 
a Tél) 
其 中 ,为 与 无 关 的 量 ,上 述 推导 在 k>1 的 情况 下 近似 成 立 ,其 结论 说 明 ax( oi) 通 近 
ha 的 误差 为 O( ( 笃 ) “)， 对比 定 理 5. 16 的 结论 ,RC ) 带 近 为 的 误差 为 O( (六 )】 ) ,显然 
后 者 能 更 快 地 收 剑 . 因此 ,在 宕 法 的 每 一 步 计算 瑞 利 商 可 加 速 收敛 ,仅仅 需要 多 做 两 次 向 量 
内 积 (gw 和 ze) ,增加 的 计算 量 几 乎 可 以 忽略 . 
例 .7( 瑞 利 商 加 速 的 者 法 ) : 对 于 例 5.6 中 的 问题 ,采用 瑞 利 南 加 速 技术 的 特 法 计算 主 
特征 值 ， 计 算 过 程 如 表 5-2 所 示 ， 
表 5-2 瑞 利 商 加 速 的 效果 


k max( vw) ul ul Au: /ulus 
0 0.000 1.0 3.000 
1 3.000 0.333 1.0 3. 600 
2 3.333 0.600 本 1 3. 882 
3 3. 600 0.778 1.0 3. 969 
4 3.778 0.882 起 3. 992 
5 3.882 0.939 1.0 3. 998 
6 3.939 0. 969 1.0 4. 000 


与 表 5-1 比较 后 发 现 , 瑞 利 商 收 敛 到 主 特征 值 二 4 的 速度 要 比 原 始 的 寡 法 快 得 多 . 
5.2.3 反 辕 法 


反 肾 法 (inverse iteration) 基 于 寡 法 ,可 看 成 是 震 法 的 一 种 应 用 , 它 能 够 求 矩 阵 4 按 模 最 
小 的 特征 值 及 其 特征 向 量 . 根据 定理 5. 9 的 结论 (5) , 即 对 非 奇异 矩阵 4,4- :的 特征 值 为 矩 
阵 A 特征 值 的 倒数 ,4 的 主 特征 值 便 是 4 按 模 最 小 的 特征 值 的 倒数 . 因此 ,可 对 4 应 用 
寡 法 求 出 矩阵 4 的 最 小 特征 值 . 这 就 是 反 震 法 的 基本 思想 . 
与 圭 法 相对 应 , 反 震 法 的 适用 条 件 是 : 矩阵 A 按 模 最 小 的 特征 值 唯一 . 对 于 实 和 矩阵 , 满 
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足 此 条 件 时 这 个 最 小 特征 值 一 定 是 实数 ,相应 的 特征 向 量 也 为 实 向 量 . 算法 描述 如 下 . 


算法 5.2: 计算 最 小 特征 值 4%, 和 特征 向 量 x 的 反 窜 法 . 
输入 : A; 输出 : x ,1,. 


& :一 随机 向 量 ; 

While 不 满足 判 停 准则 do 
v :=A lu; {求解 线性 方程 组 } 
A :=1/max(v); { 最 小 特征 值 的 近似 值 } 
OD {规格 化 } 

End 

x, :=u. {规格 化 的 特征 向 量 } 


此 算法 同样 使 用 了 规格 化 向 量 的 技术 ,其 理论 证 明 类 似 于 对 实用 的 军法 的 讨论 ,这 里 不 
再 费 述 . 反 震 法 算法 与 寡 法 的 区 别 在 于 主要 计算 步 为 = 一 4 'u, 这 需要 用 到 线性 方程 组 求 
解 的 方法 ,其 计算 量 可 能 比 计算 和 矩阵 向 量 乘法 Au 大 很 多 . 
例 $.8( 反 寡 法 ) : 用 反 客 法 求 例 5. 6 中 和 矩阵 的 按 模 最 小 特征 值 . 计算 过 程 列 于 表 5-3 中 . 
表 5-3 反 客 法 的 迭代 计算 过 程 


k ul max( vw) 
0 0.000 iO 

1 一 上 333 ‘0 0,3785 
2 一 0. 600 0 0. 417 
3 一 0.778 0 0. 450 
4 一 0. 882 a 0.472 
) 一 0.939 .0 0. 485 
6 一 0. 969 0 0. 492 
站 一 0. 984 “0 0. 496 
8 992 0 0. 498 
9 一 0. 996 “0 0. 499 


从 表 5-3 中 看 出 ,1/max(wvi) 大 约 收 伍 于 1/0. 5 王 2, 因 此 原始 矩阵 4 的 最 小 特征 值 为 
2 ,而 对 应 的 特征 向 量 约 为 [一 1,1]. 加 

在 实际 应 用 中 , 若 知道 某 个 特征 值 的 估计 值 ,常用 反 寡 法 结合 原点 位 移 技术 求 其 精确 值 
和 对 应 的 特征 向 量 . 假设 已 知 某 个 特征 值 4 的 估计 值 为 p, 则 4 一 p 是 和 矩阵 B= 二 A 一 pl 的 特 
征 值 , 且 其 值 非常 小 (往往 是 B 的 按 模 最 小 特征 值 ). 因此 ,对 A 一 pI 应 用 反 和 军法 可 求 出 准 
确 的 4; 以 及 它 对 应 的 矩阵 A 的 特征 向 量 . 当 估 计 值 p 与 4; 很 接近 时 , 反 徊 法 只 需 迭 代 很 少 
的 次 数 即 可 收敛 . 与 5. 2. 2 节 介 绍 的 原点 平移 法 加 速 圭 法 不 同 ,这 里 p 值 的 选取 原则 比较 
明确 ,只 要 它 接近 特征 值 , 既 可 以 加 速 反 短 法 的 收敛 ,又 可 适合 于 任意 特征 值 的 计算 . 另外 ， 
车 已 知 一 个 近似 的 特征 向 量 ,根据 瑞 利 商 可 估计 其 对 应 的 特征 值 ,从 而 取 它 为 p 值 . 这 样 ， 

。 159 。 


数值 分 析 与 算法 (第 2 版 ) 


可 得 到 一 种 结合 上 述 三 种 技术 的 算法 , 它 不 但 加 速 特征 值 的 收敛 ,也 加 速 特征 向 量 的 收敛 ， 
限于 篇 幅 不 详细 介绍 , 感 兴趣 的 读者 可 参考 文献 [1]. 

在 本 节 的 最 后 指出 , 窒 法 、 反 短 法 都 只 能 求 出 矩阵 的 某 一 个 特征 值 ,是 否 能 将 它们 推广 
来 计算 矩阵 的 多 个 特征 值 或 者 所 有 特征 值 呢 ? 答案 是 肯定 的 ,这 将 用 到 ”收缩 ?技术 ,在 5.4 
节 进 行 介绍 . 


应 用 实例 : Google 的 PageRank 算法 


1. 问题 背景 

互联 网 (Internet) 的 使 用 已 经 深入 到 人 们 的 日 常生 活 中 ,其 巨大 的 信息 量 和 强大 的 功能 
给 人 们 的 生产 、 生 活 带 来 了 很 大 便利 . 随 着 网 络 信息 量 越 来 越 庞大 ,如 何 有 效 地 搜索 出 用 户 
真正 需要 的 信息 变 得 十 分 重要 . 自 1998 年 搜索 引擎 网 站 Google 创立 以 来 ,网 络 搜索 引擎 上 
成 为 解决 上 述 问题 的 主要 手段 . 

1998 年 ,美国 斯 坦 福 大 学 的 博士 生 Larry Page 和 Sergey Brin 创立 了 Google 公司 ,他 
们 的 核心 技术 就 是 通过 PageRank 技术 对 海量 的 网 页 进行 重要 性 分 析 . 该 技术 利用 网 页 相 
互 链接 的 关系 对 网 页 进行 组 织 , 确 定 出 每 个 网 页 的 重要 级 别 (PageRank). 当 用 户 进行 搜索 
时 ,Google 找 出 符合 搜索 要 求 的 网 页 ,并 按 它 们 的 PageRank 大 小 依次 列 出 . 这 样 , 用 户 一 
般 在 显示 结果 的 第 一 页 或 者 前 几 页 就 能 找到 真正 有 用 的 结果 . 

形象 地 解释 ,PageRank 技术 的 基本 原理 是 : 如 果 网 页 A 链接 到 网 页 B, 则 认为 “网 页 A 
投了 网 页 B” 一 票 ,而 且 如 果 网 页 A 是 级 别 高 的 网 页 , 则 网 页 B 的 级 别 也 相应 地 高 . 

2. 数学 问题 建 模 

假设 nn 是 Internet 中 所 有 可 访问 网 页 的 数目 ,此 数值 非常 大 ,在 2010 年 已 接近 100 亿 。 
定义 宛 X 姑 的 网 页 连接 矩阵 G 一 (gj )ER"”", 若 从 网 页 i 有 一 个 链接 到 网 页 i, 则 gi 二 1, 否 


(1) G 给 阵 是 大 规模 稀 路 算 阵 . 

(2) 第 j 列 非 堆 元素 的 位 置 表 示 了 从 网 页 j 链接 出 去 的 所 有 网 页 . 
(3) 第 i 行 非 零 元 素 的 位 置 表示 了 所 有 链接 到 网 页 i 的 网 页 . 

(4) G 中 非 零 元 的 数目 为 整个 Internet 中 存在 的 超 链 接 的 数量 . 

(5) 记 G 乱 阵 行 元素 之 和 7; 一 》)gj， 它 表示 第 i 个 网 页 的 “入 度 ”. 


(6) 记 G 算 阵列 元 素 之 和 cj; 一 >)gj， 它 表示 第 了 个 网 页 的 “出 度 ” 


要 计算 PageRank, 可 假设 一 个 随机 上 网 “冲浪 ”的 过 程 , 即 每 次 看 完 当 前 网 页 后 ,有 两 种 
选择 . 

(1) 在 当前 网 页 中 随机 选 一 个 超 链接 进入 下 一 个 网 页 . 

(2) 随机 地 新 开 一 个 网 页 . 

这 在 数学 上 称 为 马尔 可 夫 过 程 (Markov process). 若 这 样 的 随机 “冲浪 ”一 直 进 行 下 
去 , 某 个 网 页 被 访问 到 的 极限 概率 就 是 它 的 PageRank. 


@ 主要 的 搜索 引擎 网 站 : 谷歌 (Google) 
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设 记 为 选择 当前 网 页 上 链接 的 概率 (比如 ,pp 二 0.85), 则 1 一 p 为 不 选 当 前 网 页 的 链接 
而 随机 打开 一 个 网 页 的 概率 . 若 当 前 网 页 是 网 页 j, 则 如 何 计 算 下 一 步 浏览 到 达 网 页 i 的 概 
率 (网 页 j 到 ;的 转移 概率 )? 它 有 两 种 可 能 性 . 

(1) 若 网 页 i 在 网 页 7 的 链接 上 ,其 概 举 为 p*1/c 十 (1 一 p)*。1/n. 

(2) 车 网 页 i 不 在 网 页 j 的 链接 上 ,其 概率 为 (1 一 p)*1/n. 

由 于 网 页 i 是 否 在 网 页 j 的 链接 上 由 gj 决定 ,网 页 j 到 i 的 转移 概率 为 

“= gs [p+ pg) [4-2. 过]= 
应 注意 的 是 ,车 cj 一 0 意味 着 gj 一 0, 上 式 改 为 a; 二 1/n. 任意 两 个 网 页 之 间 的 转移 概率 形 
成 了 一 个 转移 矩阵 和 A 二 (ai ),xs. 设 和 给 阵 也 为 各 个 网 页 出 度 的 倒数 ( 若 没有 出 度 , 设 为 1) 构 
成 的 n 阶 对 角 阵 ,e 为 全 是 1 的 n 维 向 量 , 则 
A= pGD+ef', 


n 


其 中 向 量 了 的 元 素 为 
(1—p)/n, 6c¥0 
| Se a ”= ly i 
1/n, c 一 0 
设 xz ,1 一 1,2,… 光 表示 某 时 刻 R 浏览 网 页 ;的 概率 ( 》) x 人 二 1)，, 向 量 x 中 表示 当 


前 时 刻 浏览 各 网 页 的 概率 分 布 .那么 下 一 时 刻 浏览 到 网 页 i 的 概率 为 org ,此 时 浏览 
j=1 
各 网 页 的 概率 分 布 为 x*1? 了 ?二 Ax， 
当 这 个 过 程 无 限 进行 下 去 ,达到 极限 情况 , 即 网 页 访问 概率 x 中 收敛 到 一 个 极限 值 ,这 
个 极限 向 量 x 为 各 网 页 的 PageRank, 它 满足 4Ax 一 x, 且 >)7zi 一 1 


i=1 
3. 用 窜 法 计算 PageRank 
给 定 nXn 的 网 页 连接 算 阵 G, 以 及 选择 当前 网 页 链接 的 概率 p, 要 计算 特征 值 ] 对 应 


的 特征 向 量 x 
Ax=x 
ee 1 


易 知 上 Ai1 二 1, 所 以 p(A) 壹 1. 又 考虑 和 矩阵 下 一 T 一 人 ,容易 验证 它 各 列 元 素 和 均 为 0, 则 为 
奇异 矩阵 ,所 以 det(I 一 A) 二 0,1 是 和 的 特征 值 \ 主 特征 值 . 更 进一步 ,用 圆 盘 定理 考察 憩 
阵 A” 的 特征 值 分 布 ,图 5-4 显示 了 第 j 个 圆 盘 DDj;(j 二 1,2,…,n),， 显然 其 圆心 oj 盖 0， 半 
径 7; 满足 aj 十 rj 一 1, 因此 除了 1 这 一 点 , 圆 盘 上 任何 一 点 到 园 心 的 距离 ( 即 复数 的 模 ) 都 小 
于 1. 这 就 说 明 ,1 是 答 阵 A ”和 A 的 唯一 主 特征 值 , 对 于 实际 的 大 规模 稀 跤 矩阵 4 ,守法 是 
求 其 主 特征 向 量 的 可 靠 的 唯一 的 选择 . 

网 页 的 PageRank 完全 由 所 有 网 页 的 超 链接 结构 所 决定 , 隔 一 段 时 间 重 新 算 一 次 
PageRank 以 反映 互联 网 的 发 展 变化 ,此 时 将 上 一 次 计算 的 结果 作为 震 法 的 和 迭代 初 值 可 提 

人 黎 速 度 . 由 于 和 迭代 向 量 以 及 矮 阵 入 的 物理 意义 ,在 使 用 守法 时 并 不 需要 对 向 量 进 行规 
格 化 ,而 且 不 需要 形成 矩阵 4, 通过 遍历 整个 网 页 的 数据 库 , 根 据 网 页 间 超 链接 关系 即 可 得 
到 Ax 中 的 结果 . 


“ Ll6l's 
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OO alpha —————— © delta 


[从 3 
| p20 


© sigma © rho 


图 5-4 矩阵 A" 的 第 7 个 圆 盘 图 5-5 网 页 超 链接 关系 


4. 实验 结果 
用 一 个 只 有 6 个 网 页 的 微型 网 络 作为 例子 ,其 网 页 链接 关系 如 图 5-5 所 示 . 通过 下 述 
MATLAB 命令 可 生成 矩阵 G 


>>i=[234456161]; 
> 3 .45 6G] 
>>n=6; 


SG=parselir dr Lr nr ny 
再 使 用 下 述 命令 得 到 矩阵 4: 


>>c=full (sum(G)); 
>>D=spdiags(1./c', 0, n, n); 
>>e=ones(n, 1); 

>>p= .85; delta= (1-p)/n; 
>>A=px*x Gx Dtdeltaxexe'; 


PageRank 
得 到 抵 阵 4 为 0.35 
0.025 0.025 0.025 0.875 0.025 0.875 0300 
O75 0025 “0.025 -i0,025 0025" .0:025 ol 
A= 0.:025. 0.45 O025 “0,025.. 0.025, 0.025 0.15 上 
0.025 0.45 0.3083 0.025 0.025 0.025| oil 
0.025， ©.025 0.:3083. 0.025 ‘©.025 0.025 0.05r 
0,025 0.025 0.3083 0.025 “0.875. 0.025 0 Te ne 92 6 
使 用 需 法 可 求 出 其 主 特征 向 量 , 即 PageRank 为 图 5-6 计算 出 的 PageRank 数值 


x=[0.2675 0.2524 0.1323 0.1697 0.0625 0.1156]. 
使 用 MATLAB 的 bar 命令, 将 x 的 各 分 量 值 显示 如 图 5-6 所 示 , 从 中 看 出 各 个 网 页 的 级 别 
高 低 . 虽然 链接 数目 一 样 ,但 网 页 alpha@ 的 级 别 比 delta 由 和 sigma@ 都 高 ,而 betaG@) 的 级 
别 第 二 高 ,因为 高 级 别 的 alpha 链接 到 它 上 面 , 它 沾 了 alpha@ 的 光 . 


5.3 矩阵 的 正 交 三 角 化 
了 介绍 计算 矩阵 所 有 特征 值 的 方法 ,本 节 先 介绍 矩阵 的 正 交 三 角 化 技术 与 矩阵 的 


QR 分 解 . 回顾 前 面 的 高 斯 消去 过 程 , 它 相当 于 用 消去 矩阵 逐次 左 乘 矩 阵 4 ,最终 将 它 化 成 
"62 
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上 三 角 和 矩阵 . 所 谓 正 交 三 角 化 技术 ,就 是 用 正 交 矩阵 左 乘 A 来 实现 消 元 ,从 而 将 它 化 为 上 三 
角 阵 . 

实现 矩阵 的 正 交 三 角 化 的 主要 手段 有 Householder( 豪 斯 霍 尔 德 ) 变 换 、Givens( 吉 文 
斯 ) 旋 转变 换 、Gram-Schmidt( 格 菜 姆 -斯 密 特 ) 正 交 化 过 程 三 种 . 这 里 介绍 Householder 变 
换 和 Givens 旋转 变换 技术 . 


5.3.1 Householder 变换 


Householder 变换 也 称 为 初等 反射 变换 ,下 面 先 定义 Householder 矩阵 ”用 
Householder 矩阵 左 乘 一 个 向 量 ( 或 矩阵 ) , 即 实现 Householder 变换 . 
定义 5.8: 设 向 量 wE R" 且 w w 二 1, 称 矩阵 


H(w) 一 工 一 2wwT 55 3 
为 Householder 和 纶 阵 ,或 初等 反射 矩阵 . 
ro 
下 Ww zz WY 2 
设 w 二 | ，|, 则 根据 定义 得 
ww, 
1—2w —2ww C2wiw, 
—2ww 1—2wi … CO 2, 
CW 二 2 Tl 2 2 
一 2rrzol 一 2roroy … 1 一 2o2 


另外 注意 到 ,HC(w) 二 HH( 一 w) , 即 用 一 w 可 构造 出 相同 的 矩阵 互 . 

我 们 用 一 个 定理 总 结 Householder 矩阵 和 Householder 变换 的 性 质 . 

定理 5.17; 设 互 为 定义 5.8 中 的 Householder 矩阵, 则 

(1) 矩阵 吾 为 对 称 阵 , 即 H'==H. 

(2) 矩阵 HH 为 正 交 和 矩阵, 即 HTH=IL. 

(3) Householder 变换 实现 向 量 在 线性 空间 中 的 “镜面 反射 *, 即 Hx 是 向 量 x 相对 于 法 
向 为 w 的 超 平面 的 镜像 ,这 里 的 w 为 构造 矩阵 五 所 用 的 向 量 ( 公 式 (5. 13)). 

定理 的 证 明 很 简单 , 留 给 读者 思考 . 应 注意 的 是 ,结论 (1)、(2) 说 明 Householder 和 矩阵 
是 一 种 特殊 的 非 奇 异 阵 , 它 的 逆 和 矩阵 是 自身 , 即 下 = 工 下 面 以 三 维 实 向 量 空间 为 例 ,对 结 
论 (3), 即 Householder 变换 的 几何 意义 作 些 直观 的 说 明 . 

如 图 5-7 所 示 , 设 向 量 w 和 x 的 起 点 都 在 三 维 坐标 系 ! 
原点 ,以 w 为 法 向 做 一 平面 S,w 为 单位 长 度 向 量 ,x 为 不 
在 平面 S 内 的 任意 向 量 ， 


Hx =(I— 2ww')x = x— 2ww'x 


=x— 2(wix)w. (5.14) 人 
考察 图 中 向 量 x 在 w 方 向 的 投影 向 量 y, 根 据 向 量 内 
积 的 定义 知 ， 图 5-7 Householder 变换 实现 向 量 
人,V)》 一 wy 一 171， 的 镜面 反射 


> | y| = (x,w) = xTw = wix. 
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又 由 于 向 量 ”和 方向 相同 , 则 (wIx)w 一 y, 于 是 
Hx = x— 2y. 
结合 图 5-4,2y 为 虚线 表示 的 向 量 ,由 此 得 到 Hx 与 x 关于 平面 S 镜像 对 称 . 
下 面 给 出 两 个 定理 ,它们 是 通过 Householder 变换 实现 矩阵 的 正 交 三 角 化 的 基础 . 
定理 5. 18: 设 x,yER":x 天 yy | xl = y |;, 则 存在 Householder 矩阵 互 ,使 


Hx=% 
定理 5.19; 设 x=[zxi,*…,z， T 关 0, 则 存在 Householder 和 矩阵 五 ,使 Hx 二 一 oei ,其 中 ， 
= sign(zi) | | = [1,0 Ol sign(Xx1) = E 
sign(z 党 » € es ， Sign(z ’ 
o 8 1 浊 8 1 i a 


定理 5.18 的 证 明 是 构造 性 的 ,假设 单位 长 度 向 量 w= 二 (x 一 y)/ 1 xz 一 | , 则 可 证 明 由 
它 生 成 的 HH=1 一 2ww" 能 使 Hx 二 y. 这 通过 Householder 变换 的 几何 意义 很 容易 理解 . 
Householder 变换 实现 镜面 反射 ,向 量 x 和 y 关于 镜面 是 对 称 的 , 则 镜面 的 法 向 必然 是 沿 
Xx 一 y 的 方向 ,或 其 反方 向 , 据 此 可 构造 出 向 量 w 和 相应 的 矩阵 H 满足 要 求 . 此 外 ,还 可 以 证 
明 满 足 要 求 的 Householder 矩阵 是 唯一 的 . 

定理 5. 19 实际 上 是 定理 5. 18 的 推论 ,因为 | 一 oei | ,二 1o| 二 上 x,. 因此 ,构造 满足 
定理 要 求 的 Householder 矩阵 时 ,可 取向 量 w= 二 (x 十 ge1)/ ex 十 cei | 对 定理 5. 19 再 说 
明 两 点 . 

(1) 该 定理 的 意义 为 ,采用 Householder 变换 可 将 向 量 x 中 除 第 一 个 分 量 外 的 其 他 分 
量 均 变 成 0, 这 是 一 种 消 元 操作 . 

(2) 公式 Hx 三 一 oe1 等 号 右边 的 “一 ”号 可 保证 计算 的 稳定 性 , 它 使 得 求 w 的 第 一 个 向 
量 分 量 时 ,计算 的 是 zz 十 sign(xz1) 上 x; ,为 两 个 同 符号 的 数 相 加 ,不 会 发 生 “ 抵 消 ” 现 象 . 
同时 注意 ,变换 后 向 量 的 第 一 个 分 量 改变 了 符号 . 

例 5.9(Householder 变换 ) : 确定 一 个 Householder 变换 ,用 以 消去 下 面向 量 中 除 第 一 
个 分 量 以 外 的 分 量 


十 


【 解 】 根据 定理 5. 19, 令 c=sign(Ca ) Tal; 二 3, 则 构造 向 量 
2 
v= 二 4d 二 oel 一 l' 


3 5 
|- 
2 0 2 


取 =m/ ev; 可 根据 定义 构造 Householder 矩阵 五 . 此 时 ， 
总 
. 


T 
Ha =a—2(wia). w=a—2 v= 
vv 


5 一 地 
2 0 


这 验证 了 Householder 变换 的 效果 . 注意 ,这 里 没有 生成 矩阵 HH 和 向 量 w, 而 是 利用 一 个 与 
w 同 方向 的 向 量 v 表示 Householder 变换 . 这 给 计算 Householder 变换 的 结果 带 来 方便 ,因为 
vv 


Hx = (I 区 )z=zx 区 玫 (5. 15) 


vvU vv 


» 164。 
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只 需 计算 向 量 v 与 x 的 内 积 ,而 不 需要 计算 和 矩阵 与 向 量 的 乘法 . 
5.3.2 Givens 旋转 变换 

Givens 旋转 变换 也 称 为 平面 旋转 变换 , 它 能 够 消去 给 定向 量 的 某 一 个 分 量 ( 使 其 为 
零 ), 这 不 同 于 Householder 变换 消去 向 量 中 的 多 个 分 量 . 在 处 理 已 经 有 很 多 零 元 素 的 稀 蚊 
向 量 、 稀 玻 和 矩阵 时 ,Givens 旋转 变换 非常 有 效 . 

先 给 出 2X2 的 Givens 旋转 矩阵 的 定义 . 

定义 5.9: 矩阵 CER , 若 

G= | |， (5. 16) 

其 中 ,c= 二 cos0,s 二 sin0,0E€ R , 则 称 矩 阵 G 为 2 阶 Givens 旋转 答 阵 . 

从 定义 可 以 看 出 ,在 二 维 几 何 空间 中 ,Givens 旋转 和 矩阵 实现 向 量 的 旋转 变换 , 即 Gx 为 
向 量 x 顺 时 针 旋 转 0 角度 后 得 到 的 向 量 . 并 且 , 和 矩阵 G 是 正 交 和 矩阵. 因此 ， 


合适 地 选择 0 值 ,或 者 实际 的 参数 c 和 s (它们 满足 人 十 ss 二 1) ,构造 Givens 旋转 矩阵 可 
消去 任意 向 量 的 分 量 . 例如 ,要 使 


ce-[ :|- 1]; 


其 中 ,a 二 Vzxi 十 zz (由 于 G 为 正 交 阵 , 必 有 |a| 二 x];), 则 


之 


Xl 2 
Cs 一 一 一 一。 955 
Vz 十 2 Vx? 二 xz? 
为 避免 数值 的 上 溢 , 有 时 也 对 公式 进行 调整 . 兰 |zxi | 三 |x;|, 则 可 按 如 下 公式 计算 : 
t= 过 C= wn 
0 1 
车 |zi | 过 |zz|, 则 类 似 地 ， 
1 一世， 全 » 二 
2 Vi+e 


上 述 消去 二 维 向 量 一 个 分 量 的 技术 可 用 于 处 理 一 般 的 n 维 向 量 ,车 对 目标 分 量 & 和 男 
一 个 分 量 7 进行 “旋转 ”, 可 以 将 分 量变 为 0, 而 将 其 原 有 值 * 添 加 ”到 分 量 7 中 . 要 达到 这 
个 目的 , 先 构 造 一 个 2X2 的 Givens 旋转 和 矩阵 ,再 将 其 "能 入 ?到 守 阶 单位 阵 的 第 7 行 和 第 
jk 列 中 便 得 到 实际 的 2 阶 旋转 矩阵 . 以 n= 二 5, j 二 2,& 二 4 的 情形 为 例 , 旋 转变 换 为 


1 0 0 0 ol 1 
和 站、 这， a 
Gx= |0 0 1 0 0||lz;|= |za |， 
有 二 让 9 和 0 
0 0 0 0 1llz Xs 


丑 


“ 165 % 
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2 i Ta -= 上 -本 
[于 5 a TX2 TT 


很 容易 看 出 ,这 种 一 般 的 Givens 旋转 变换 矩阵 仍然 是 正 交 阵 . 利用 一 系列 这 样 的 Givens 旋 
转 , 可 依次 消去 向 量 中 的 非 零 元 素 ,使 其 最 终 成 为 ve 的 形式 (达到 与 定理 5. 19 中 
Householder 变换 同样 的 效果 ). 

例 5. 10(Givens 旋转 变换 ) : 通过 一 系列 Givens 旋转 变换 ,消去 下 面向 量 中 除 第 1 个 分 
量 以 外 的 分 量 


i 


2 
0 
和 | 
2 


[ 解 】 首先 针对 向 量 的 第 一 、 三 分 量 构造 旋转 变换 矩阵 G1 | “ 


公式 (5. 17) 求 出 a 一 2/V5 ,一 1/V5, 则 


C1 0 31 0 5 
0 1 人 0 0 
Ci 一 ， Ga 一 
= 0 
0 0 ,人 ,了 2 


然后 ,针对 向 量 的 第 一 、 四 分 量 构造 旋转 变换 抢 阵 G4 一 | “|, 利 用 公式 (5.17) 求 出 
32 


cz =V5/3,sz 二 2/3, 则 


C2 0 0 yz C2 0 0 $s 5 3 
0 1 0 i 0 丰 0 0 
G; = GGia = = 
0 0 1 0 1 0 0 0 
$s 0 0 人 = 和 人 0 图 


从 例 5. 10 可 以 看 出 ,一 般 的 Givens 旋转 矩阵 都 只 有 4 个 需 计 算 的 元 素 , 而 它们 的 值 仅 
由 两 个 参数 c、 确定 . 并 且 ,Givens 旋转 矩阵 与 任意 向 量 相 乘 都 仅 影 响 向 量 的 两 个 分 量 , 不 
会 改变 其 他 分 量 的 值 . 对 于 所 有 分 量 均 不 为 零 的 n 维 向 量 ,要 达到 一 次 Householder 变换 
的 消去 效果 , 则 需 做 "一 1 次 Givens 旋转 ,其 计算 量 和 存储 量 都 高 于 Householder 变换 . 但 
对 于 非常 稀疏 的 向 量 , 采 用 Givens 旋转 显然 更 为 有 效 . 


5.3.3 矩阵 的 QR 分 解 


虽然 讨论 特征 值 问 题 时 考虑 的 矩阵 都 是 n 阶 方 阵 , 但 为 了 不 失 一 般 性 ,本 节 介 绍 mXn 
矩阵 的 正 交 约 化 和 QR 分 解 , 主要 讨论 基于 


Householder 变换 的 方法 . BB 
设 和 矩阵 AE R”™",m 宇 n, 考 虑 构造 一 系列 初等 反 


射 阵 Hi,…,Hi, 使 H,*…H;HiA 为 上 三 角 阵 的 问题 . m>n m=n 
上 三 角 阵 的 非 零 元 分 布 情况 如 图 5-8 所 示 . 图 5-8 上 三 角 和 矩阵 的 非 零 元 分 布 情况 
。 166 。 
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将 矩阵 A 看 成 由 多 个 列 向 量 组 成 , 设 A 二 [a ,as，,…,a,j], 其 中 ,qaj (1 二 j 达 7) 为 m 维 向 
量 . 根据 定理 5. 19 ,存在 初等 反射 阵 Hi1 ER””, 使 Hla 二 一 o1ef”, 这 里 上 标 (m) 表 示 m 
维 向 量 . 则 得 


(2) (2) 


To 412 an a | | 
0 a a 0 Ha : Hia, 
人 9 :| | | 
0 a a 0 | | 
接 下 来 希望 构造 初等 反射 阵 H; ,通过 它 将 矩阵 A” 第 二 列 的 对 角 线 下 方 元 素 消 为 0, 即 
类 一 六 x 
% 0 0 


H; Hias 二 10 |, 同 时 还 应 保证 H,| 0 |=|0 |, 这 里 * 表 示 非 零 矩 阵 元 素 . 
0 0 0 

1 0 

0 HH; 


十 
i nn 


]:0 表示 全 0 的 列 向 量 ,相应 地 记 A2 一 | 7。 


1 071[ 一 o ri 一 0l ri 
H:A®™ / / = 1 加 
0 H; 0 A (2) 0 H;,A (2) 


只 需 让 HsA'” 的 第 一 列 只 有 第 一 个 元 素 非 零 ,这 可 用 类 似 于 前 面 消 矩 阵 A 的 第 一 列 的 做 法 
达到 . 构造 初等 反射 阵 Hi ER™-D?Xw-D ,使 Hia'?== 一 gyelw-?, 其 中 ,a'? 表示 A 的 第 
一 个 列 向 量 , 那 么 


=| ] 网 


= ri 
0 0 | | 
A=HA?=|0 :0 Ha … Hz2a'?|. 
: | | 
0 i 0 | | 


这 样 就 实现 了 和 矩阵 4 第 二 列 对 角 线 下 方 元 素 的 消去 . 应 注意 的 是 ,这 样 构造 的 H, 也 是 mXm 
的 Householder 矩阵 ,将 构造 到 使 用 的 v 向量 的 最 开始 增加 一 个 0 分 量 即 得 到 Hs 对 应 的 
v 问 量 . 

同 理 , 对 和 矩阵 4 的 后 续 各 列 , 若 不 满足 上 三 角 和 矩阵 的 要 求 可 类 似 地 构造 出 Householder 
变换 矩阵 ,实现 消 元 操作 . 如 果 当 前 列 满足 要 求 , 可 认为 变换 和 矩阵 为 单位 阵 I. 这 样 , 最 多 做 
n 次 Householder 变换 ,可 得 到 矩阵 4” 为 上 三 角 阵 . 

例 $.11( 用 Householder 变换 做 正 交 约 化 ): 通过 Householder 变换 将 矩阵 4 化 为 上 三 
角 和 矩阵 . 


© 
OP OP~ oO 
一 避 一 避 OO 


“ LO» 
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【 解 】 为 消去 4 的 第 一 列 对 角 线 以 下 的 元 素 , 取 aA== 上 [1 0 0 一 1 一 1 0] := 
1.7321, 向 量 wi 为 


lL 1. 7321 2.7321 
0 0 0 
vl al oe | 一 ， 
a 0 二 
一 1 0 -= 
0 0 0 


则 使 用 向 量 wi 二 vi/ | vi 1 ; 构造 Householder 和 矩阵 Hi ,经 过 Householder 变换 后 得 到 
— 7321 0 5774 0. 5774 


0 1 0 
0 0 1 
HA = 。 
0 0.7887 三 0 刘 13 
0 二 信人 13 0.7887 
0 一 1 


为 消去 瑟 4 的 第 二 列 对 角 线 下 方 元 素 , 类 似 地 取 m= ‖ [1 0 0.7887 一 0.2113 一 1]" ;= 
1. 6330, 向 量 v, 为 


0 0 0 
1 1.6330 2. 6330 
0 0 0 
D2 一 一 
0.7887 0 0.7887 
一 0.2113 0 一 0.2113 
| 0 = 


则 使 用 向 量 ws = vs/ | ao ;构造 Householder 和 矩阵 H; ,经 过 Householder 变换 后 得 到 
= :7321 0.5774 0:5774 


0 一 1.6330 0.8165 
0 1 
H;HiA = 
0 0 0.0332 
0 0 0.7231 
0 0 0. 6899 


为 消去 五 本 A 的 第 三 列 对 角 线 以 下 的 元 素 , 取 as 一 [1 0.0332 0.7231 0.6899 了 | :一 
1. 4142, 向 量 v 为 


0 0 0 

0 0 0 

1 1.4142 2:4142 
ma 一 十 一 4 

0.0332 0 O0332 

0; 7231 0 QO: 7231 

0.6899 0 0.6899 


使 用 向 量 ws 二 v3/ | ms | ,以 及 相应 的 Householder 变换 H, ,有 
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| 0. 5774 0. 5774 


0 一 1.6330 0.8165 
0 0 一 1.4142 
H;H; HiA = 
0 0 0 
0 0 0 
0 0 0 
这 样 ,将 矩阵 4 变 成 了 上 三 角 和 矩阵 . 国 


定理 $.20( 和 矩阵 的 QR 分 解 ) : 设 矩 阵 AER™"(m 宇 n)， 

(1) 存在 m 阶 正 交 阵 Hi,H;,…,H, ,其 中 H;(j 二 1,…,n) 为 初等 反射 阵 或 单位 阵 , 使 
得 H,…H,HiA 一 R,RER”" 为 上 三 角 阵 . 

(2) 矩阵 4 有 QR 分 解 式 

4 一 OR， 

其 中 QER”" 为 正 交 阵 ,RER”" 为 上 三 角 阵 . 若 4 为 非 奇 异 方 阵 , 且 R 的 对 角 线 元 素 均 
为 正 ,此 分 解 唯一 . 

【证 明 】 (1) 前 面 的 推导 过 程 即 证 明了 结论 (1). 

(2) H,*%HiHIA=R 全 A=Hi!'…HA HR=H…H, 1H,R 

这 里 利用 了 初等 反射 阵 的 道 矩 阵 为 自身 的 结论 . 设 和 矩阵 0 二 本 …H,_1H, ,由 于 正 交 阵 
的 乘积 仍 是 正 交 阵 ,Q 为 正 交 阵 , 得 A 二 QR. 关于 分 解 唯一 性 的 结论 , 留 给 读者 思考 . 国 

注意 : 矩阵 的 QR 分 解 是 普遍 成 立 的 ,但 只 有 当 满 足 特定 条 件 时 该 分 解 才 唯 一 . 更 进 一 
步 的 分 析 表 明 ,车 要 求 矩 阵 R 对 角 线 元 素 均 为 正 , 则 不 同方 法 得 到 的 QR 分 解 有 相同 的 R 
和 矩 阵 ， 此 外 ,和 矩 阵 R 的 对 角 线 元 素 也 可 能 为 零 , 此 种 情况 对 应 的 原 矩 阵 A 不 是 列 满 秩 的 , 即 
矩阵 4 的 列 向 量 线性 相关 . 下 面 给 出 实现 矩阵 正 交 三 角 化 过 程 的 算法 . 


算法 $.3: 基于 Householder 变换 的 矩阵 正 交 三 角 化 . 
输入 : 4 二 [qi ,as,… ,a,]; 输出 : A; vi ,v2 v,. 
For k=1, 2, .…,n 


a :一 sign(au) /Das ; (下 三 角 部 分 第 人 列 的 2- 范 数 ) 


If 6 =am then { 第 & 列 对 角 线 下 方 已 经 全 为 0 } 
Continue with next k; 

End 

ve :一 [0 0 和 am] 十 oueti ”1{ 构造 Hi 的 向 量 ,ei 为 m 维 向 量 } 


B= VE Up; 


Fory— kk 1 1 Nn { 对 剩余 各 列 做 Householder 变换 } 
DD 
a; :=a;— (27;/B.) mk {Hia® =al® —2(Cvial® /viv) ov,} 
End 
End 
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算法 5. 3 描述 了 如 何 使 用 Householder 变换 将 矩阵 4 约 化 为 上 三 角 阵 R 的 过 程 ,算法 执 
行 结束 后 矩阵 A 变 成 了 R. 该 算法 并 没有 生成 QR 分 解 中 的 矩阵 8, 而 得 到 形成 一 系列 
Householder 矩阵 所 需 的 v 向 量 ( 它 与 定义 5.8 中 的 w 的 关系 为 w 王 mw/ 上 wv;) ,因为 实际 涉及 
的 计算 都 是 了 H 与 某 个 向 量 x 的 乘积 ,使 用 公式 (5. 15) 进 行 高 效率 的 计算 . 另外 ,经 过 变换 后 矩阵 
A 的 对 角 线 下 方 全 为 0, 为 了 节约 存储 空间 ,可 进一步 改进 算法 将 v 向 量 的 非 零 元 素 存 于 其 中 . 

算法 5. 3 中 乘除 法 的 计算 次 数 约 为 mm 一 mn/3, 详 细 的 分 析 留 给 感 兴趣 的 读者 思考 . 
最 后 说 明 一 点 ,采用 一 系列 Givens 旋转 变换 也 可 进行 QR 分 解 , 它 比 较 适 合 于 对 稀 朴 矩阵 
进行 处 理 . 


5.4 所 有 特征 值 的 计算 与 QR 算法 


本 节 介 绍 计算 矩阵 所 有 特征 值 的 方法 ,对 部 分 难度 较 大 的 内 容 , 仅 讨论 其 主要 思想 以 及 
具体 做 法 . 

要 计算 矩阵 的 全 部 特征 值 , 可 通过 下 述 两 个 问题 启发 思路 . 

(1) 问题 1: 什 么 样 的 矩阵 易于 求 出 全 部 特征 值 ? 

(2) 问题 2: 对 一 般 矩 阵 做 怎样 的 变换 能 保持 特征 值 不 变 ? 

根据 定理 5. 3 定理 5.4 我 们 知道 ,对 角 阵 、 上 (下 ) 三 角 阵 的 全 部 特征 值 容 易 求 得 (就 是 
它们 的 对 角 线 元 素 ) ,而 对 于 分 块 对 角 阵 、 分 块 上 (下 ) 三 角 阵 , 若 对 角 块 维 数 较 小 ,也 易于 求 
出 所 有 特征 值 . 这 回答 了 问题 1. 对 于 问题 2, 易 知 相似 变换 X 4X 保持 矩阵 特征 值 不 变 . 
在 实际 计算 中 , 若 X 为 正 交 阵 则 更 好 ,因为 正 交 阵 易于 求 逆 ,而 且 其 中 元 素 的 数量 级 差别 不 
大 ,有 关 的 计算 是 数值 稳定 的 . 

通过 上 述 讨 论 ,我 们 发 现 如 果 能 通过 正 交 相似 变换 将 一 般 的 矩阵 转化 为 三 角 和 矩阵 或 分 
块 三 角 和 矩阵 , 则 可 求 出 原 和 矩阵 的 所 有 特征 值 . 下 面 先 介绍 一 种 收缩 技术 (deflation 
technique) , 它 通过 正 交 相似 变换 得 到 分 块 上 三 角 和 抢 阵 ,降低 了 待 处 理 矩 阵 的 阶 数 , 从 而 逐 
步 求 出 所 有 特征 值 . 然后 介绍 QR 算法 ,以 及 相关 的 一 些 实用 技术 . 


5.4.1 收缩 技术 
假设 使 用 短 法 或 反 短 法 已 求 出 矩阵 A 的 一 个 特征 值 Mh; ,以 及 相应 的 特征 向 量 xi, 则 


Ax!1 = Axi. 
首先 构造 一 个 Householder 变换 矩阵 互 使 
Hx' = Eis 


> HAH'e = HA (zx )= Lay 一 Lx 二 由 (ge1) = Mlel. 
o o o o 


由 于 @ 二 [1,0,…,0J] ,上 式 中 HAH"ei 即 为 矩阵 HAHT 的 第 一 列 . 因此 有 
rTh i 
HAH = Le “J 
其 中 A1ER™w ?XWD ,ri ER 了 ?. 因为 正 交 相 似 变换 不 改变 矩阵 特征 值 ,所 以 求 和 矩阵 A 的 
其 余 特 征 值 变 为 求 2 一 1 阶 矩 阵 41 的 特征 值 . 更 进一步 ,车 Xs 是 4: 的 一 个 特征 值 ( 假 设 
和 天)), 且 对 应 的 特征 向 量 为 y;, 则 可 证 明 
® Ti0. « 
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是 4 的 与 4; 对 应 的 特征 向 量 . 
例 5.12( 收 缩 技 术 ) :已 知 矩 阵 


>. = 1 
1 ,一 十“ 名 


的 一 个 特征 值 和 特征 向 量 分 别 是 二 2,xi 二 [1,1,0]" , 求 它 的 其 他 特征 值 . 
使 用 Householder 变换 对 xi 进行 消 元 ,相应 的 o==V2 二 1. 4142, 所 以 构造 Householder 
矩阵 五 所 需 的 向 量 v 为 


2 4142 0. 9239 
te | > he 


0 0 
一 有 7092 =0, 7072. .0 
=>H = - 0.7072 0.7072 | 
0 0 1 
所 以 可 求 出 
2 3 = 4142 
HAH" = 1 0 
0 一 1.4142 2 
矩阵 4 的 其 他 特征 值 通过 箱 隆 4 一 | _，，，。 ?| 求 得 ,通过 定义 易 知 年 阵 &, 的 特征 值 


分 别 为 1 和 2. 所 以 矩阵 4 的 特征 值 为 41 二 2( 二 重 特征 值 ) ,2, 二 1. 面 

注意 : 在 计算 HAH" 时 实际 上 不 需要 真正 生成 Householder 和 矩阵 . 可 先 计算 B= HA， 
然后 HAH'" 二 (HB')". 这 样 基 本 的 计算 都 转化 为 对 若干 列 向 量 做 Householder 变换 ,因此 
只 要 得 到 构造 Householder 矩阵 所 需 的 向 量 v 即 可 ,然后 利用 式 (5. 15) 计 算 . 


5.4.2 基本 QR 算法 


虽然 窜 法 与 收缩 技术 结合 后 能 够 求 出 矩阵 的 所 有 特征 值 ,但 每 算 一 个 特征 值 都 需要 过 
代 很 多 步 ,效率 不 高 (甚至 可 能 迭代 不 收敛 ) ,而且 随 着 计算 误差 的 积累 ,得 到 的 特征 值 会 越 
来 越 不 准确 . 下面 介绍 的 QR 算法 是 计算 中 小 规模 和 矩阵 所 有 特征 值 的 稳定 、 有 效 的 方法 ,也 
是 “20 世纪 十 大 算法 ”之 一 . 

QR 算法 的 基本 思路 是 :通过 一 系列 正 交 相似 变换 B= 二 0 4O, 逐 渐 将 一 般 矩 阵 A 化 为 
上 三 角 或 对 角 块 阶 数 很 小 的 分 块 上 三 角 和 矩阵 ,然后 求 出 所 有 特征 值 ， 首先 介绍 QR 算法 的 
理论 基础 . 

定义 5.10: 设 AER”", 若 A 为 分 块 上 三 角 阵 , 且 对 角 块 为 1 阶 或 2 阶 矩 阵 , 则 称 4 为 
拟 上 三 角 阵 (quasi-upper triangular matrix) ,也 称 为 实 Schur 型 (real Schur form). 

定理 5.21( 实 Schur 分 解 ): 设 AER”", 则 存在 正 交 阵 QER”" 使 

Or40 = $， 
人 
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其 中 SER“ 为 拟 上 三 角 阵 ,并 且 S 的 1 阶 对 角 块 就 是 4 的 实 特征 值 ,2 阶 对 角 块 的 特征 值 
是 4 的 两 个 共 斩 复 特征 值 . 等 式 A 二 QSQ" 称 为 矩阵 4 的 实 Schur 分 解 ( 舒 尔 分 解 ). 

定理 5. 21 表明 了 正 交 相似 变换 可 能 达到 的 最 佳 效 果 ,实际 的 QR 算法 则 通过 迭代 计算 
过 程 求 出 拟 上 三 角 阵 $, 其 基本 计算 过 程 如 下 . 

取 Ah, 二 4, 则 和 迭代 计算 的 第 上 步 为 (k= 二 0, 1 ,2,…):; 首 先 将 A 做 QR 分 解 


A: = CR， (5. 18) 
得 到 和 矩 阵 CO 、Ri ,将 它们 颠倒 次 序 相 乘 ,得 到 新 的 矩阵 
At = RiQ.. C5...19) 


这 样 生 成 一 个 矩 阵 序列 {Ai)}. 由 公式 (5. 18) 公式 (5.19) 推 出 
Ait = QAiQ,. 

因此 ,序列 {4xs} 中 所 有 矩阵 都 是 正 交 相似 的 . 下 面 的 定理 说 明了 QR 算法 的 收敛 性 . 

定理 5.22:; 设 AER”", 如 果 同 时 满足 下 面 两 个 条 件 : 

(1) A 为 非 亏 损 和 矩阵 (有 完备 的 特征 向 量 集合 ). 

(2) A 的 等 模特 征 值 只 有 实 重 特征 值 ,或 多 重复 的 共 轿 特征 值 两 种 情况 (除非 是 复 共 思 
特征 值 对 ,否则 值 不 同 的 特征 值 其 模 也 不 相等 ). 
那么 QR 算法 [公式 (5.18)、 公 式 (5.19)j] 产 生 的 序列 {A,)“ 基 本 收敛 ”于 拟 上 三 角 阵 . 这 里 
“基本 收敛 ”的 含义 是 :A 对 角 线 或 2 阶 对 角 块 下 方 元 素 收敛 到 零 , 而 对 角 线 或 对 角 块 元 素 
有 极限 . 

事实 上 ,如 果 A 的 特征 值 为 绝对 值 各 不 相同 的 实数 , 则 QR 算法 产生 的 序列 {A)“ 基 本 
收敛 ”于 上 三 角 阵 , 对 角 线 元 素 即 为 4 的 特征 值 . 容易 证 明 , 正 交 相 似 变换 是 保持 矩阵 的 对 
称 性 的 ,因此 若 4 为 满足 定理 5.22 条 件 的 实 对 称 矩 阵 ( 自 然 满 足 条 件 (1)), 则 QR 算法 产生 
的 序列 (A) 收 傅 到 对 角 阵 . 

定理 5.21、 定 理 5. 22 的 证 明 超 出 了 本 书 的 讲解 范围 . 下面 给 出 基本 的 QR 算法 . 


算法 5.4: 计算 矩阵 特征 值 的 QR 算法 . 
输入 : A; 输出 :和 1，… ,7,. 
While A 不 是 拟 上 三 角 阵 do 
计算 4 的 QR 分 解 , 得 到 矩阵 CQ 和 尺 ; 
A :=RQ; 
End 
根据 4 的 对 角 线 元 素 或 2 阶 对 角 块 求 特征 值 A，… ,4，. 


例 5.13(QR 算法 ): 为 说 明 如 何 使 用 QR 算法 求 和 矩阵 特征 值 ,对 实 对 称 和 矩阵 

.9766 0.3945 0.4198 1.1159 
0.3945 2.7328 一 0.3097 0.1129 
0.4198 一 0.3097 2.5675 0.6079 
1.1159 “0.1129 0.6079 1.7231 

进行 QR 迭代 ,矩阵 A 的 特征 值 为 1:; 一 4 一 3,)3 一 2,) 一 1. 计算 其 QR 分 解 并 交换 顺序 

相 乘 得 
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3.7708 “0.1745 ‘0.5126 =—0,3034 

0.1745 2.7675 一 0.3872 0.0539 

0.5126 一 0.3872 2.4019 一 0.1241 

一 0.3934 0.0539 一 0.1241 1.0603 
再 做 几 次 迭代 ,依次 得 到 


Ai = 


r3.9436 0.0143 0.3046 ”0.1038 
0.0143 2.8737 一 0.3362 一 0.0285 

0.3046 一 0.3362 2.1785 0.0083 

[0.1038 一 0.0285 0.0083 1.0042 

r 3.9832 一 0.0356 0.1611 —0.0262] 
一 0.0356 2.9421 一 0.2432 0.0098 
0.1611 一 0.2432 2.0743 0.0047 
[一 0.0262 0.0098 0.0047 1.0003J 
r 3.9941 一 0.0430 0.0823 0.0066] 
一 0.0430 2.9748 一 0.1660 一 0.0032 
0.0823 一 0.1660 2.0311 一 0.0037 
| 0.0066 一 0.0032 一 0.0037 1.0000| 
r 3.9976 一 0.0378 0.0415 一 0.0016] 
一 0.0378 2.9892 一 0.1113 0.0010 
S| oo5 -0o1113 2.0132 0.0021| 
[0.0016 0.0010 0.0021 1.0000J 
r 3.9988 一 0.0302 0.0209 0.0004] 
一 0.0302 2.9954 一 0.0742 一 0.0003 
0.0209 一 0.0742 2. 0006 0.0011 | 
[一 0.004 0.0003 一 0.0011 ”1.0000j 


此 时 看 出 ,大 多 数 非 对 角 元 素 的 值 都 已 很 小 ,而 对 角 元 已 非常 接近 4 的 特征 值 . 国 
5.4.3 实用 QR 算法 的 有 关 技 术 


为 了 进一步 提高 QR 算法 的 计算 效率 和 适用 范围 ,还 需 考 虑 以 下 三 方面 问题 . 

(1) 如 何 减 小 每 步 迭 代 的 计算 量 , 尤 其 考虑 到 A 一 般 为 稠密 矩阵? 

(2) 如 何 提高 序列 {Ai) 的 收敛 速度 ? 

(3) 对 不 满足 定理 5. 22 特征 值 分 布 要 求 的 矩阵 ,能 否 保证 算法 的 有 效 性 ? 

下 面 介 绍 两 个 与 QR 算法 结合 使 用 的 实用 技术 . 

1. 将 矩阵 化 简 为 上 Hessenberg 矩阵 

基本 思路 是 先 通 过 Householder 变换 将 一 般 的 矩阵 4 正 交 相似 变换 为 上 Hessenberg 
矩阵 ,然后 用 QR 算法 求 上 Hessenberg 抢 阵 的 特征 值 , 便 得 到 原 和 矩阵 的 特征 值 . 

定义 $.11: 对 于 和 矩阵 A 二 (a ),xv 若 &>J) 十 1 时 ,or 三 0, 则 称 和 矩阵 4 为 上 Hessenberg 
答 阵 (上 黑 森 伯 格 矩阵 ). 

上 Hessenberg 矩阵 与 上 三 角 和 矩 阵 的 区 别 在 于 ,其 紧邻 主 对 角 线 下 方 的 副 对 角 线 上 元 素 

全 和 


A 一 
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不 全 为 零 . 图 5-9 显示 了 一 个 4 阶 上 Hessenberg 矩阵 的 威 尔 金森 图 . 
由 于 上 Hessenberg 抢 阵 的 非 零 元 分 布 特点 ,对 它 进 行 
QR 分 解 时 应 使 用 Givens 旋转 变换 . 可 以 证 明 , 对 上 


XxX XX XxX XxX 
Hessenberg 矩阵 A 执行 QR 算法 的 一 步 迭 代 , 得 到 的 At x x x 
仍 为 上 Hessenberg 矩阵 . 因此 ,QR 算法 每 步 迭 代 的 计算 复 0 
杂 度 将 由 OG ) 降 为 OC) ,n 为 矩阵 的 阶 数 . 国 59 二 六 上 Hessenberg 加 阵 
下 面 看 看 如 何 使 用 Householder 变换 将 一 般 和 矩阵 化 为 的 威 尔 全 森 图 
上 Hessenberg 矩阵 (此 方法 也 称 为 “Householder 方法 ”). 
具体 步骤 如 下 . 


第 (1) 步 ,将 算 阵 和 看 成 2X2 分 块 阵 ,4 一 | WE ER nm 为 n 一 1 维 向 量 ,可 用 
n 一 1 阶 初等 反射 阵 本 将 ci 变 为 yer”? ,构造 阶 初等 反射 阵 Hi 为 2X2 分 块 阵 ,HH 二 


[i] 


2&11 ri 
ne”™™” H'iAS 
Ql rriH’ 
ne”™™” HiASH' 
令 42 = 二 到 AH , 它 的 第 一 列 符合 上 Hessenberg 矩阵 的 要 求 : 


HiAH' =| 


QI Qi a Cia 

(2) (2) (2) 

Xi 422 : Q23 ad2n 

(2) (2) (2) (2) 
A 0 asz : as3 a3n 


(2) 1 (2) i 
0 Qi2 ‘ an Om 


A? (2) 
第 (2) 步 ,将 矩阵 A 中 看 成 2X2 分 块 阵 40 一 | 0 | 其 中 四 个 为 p87 和 矩阵 ,4 称 的 两 
21 22 
列 向 量 中 只 有 第 二 列 不 是 零 向 量 ,可 通过 一 个 n 一 2 阶 初 等 反射 阵 H's 将 其 变 为 jeg -2 ,由 
I .OO 
此 构造 出 Householder 矩阵 =| : a 
O HH 
an ai2 ;aq 和 af) 
入 人 af? 


下 42 H, = | A | 0 
H:AS? HA H; : 
0 0 : a oe a 
今 A =H, A H, ,由 则 它 的 前 两 列 符合 上 Hessenberg 矩阵 的 要 求 . 依 此 类 推 ， 总 其 经 
过 7 一 2 步 正 交 相 似 变换 ,可 得 到 上 Hessenberg 和 矩阵 A”“”. 应 注意 的 是 , 若 原始 矩阵 4 为 
实 对 称 阵 , 则 经 过 上 述 Householder 方 法 的 结果 是 对 称 的 三 对 角 阵 . 
.174 。 
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对 于 上 Hessenberg 矩阵 或 对 称 三 对 角 阵 ,执行 QR 迭代 算法 时 并 不 需要 算出 QR 分 解 
中 的 和 矩阵 @ ,而 应 通过 一 系列 Givens 旋转 变换 得 到 下 一 步 迭 代 和 矩阵 . 假设 将 上 Hessenberg 
和 矩阵 4 变换 为 上 三 角 阵 的 过 程 为 ( 设 Ci ,Gs，,…,G,-1 为 Givens 旋转 矩阵 ) 

CCCGA4 一 R SS 0 一 (G…G2G)TI， 
那么 ， 
A —=RiQ: = Gi1°%G2sGiAi (GG, GCCGD)T 
=G,1°%…G,GA:GI GI GL. 
也 就 是 说 ,从 左边 和 右边 对 A 做 第 一 系列 Givens 旋转 变换 ,得 到 下 一 步 迭 代 和 矩阵 Ai+1. 因 
此 ,实际 计算 时 只 需 记 录 所 用 到 的 Givens 旋转 变换 的 参数 . 

将 矩阵 化 简 为 上 Hessenberg 和 矩阵 具有 如 下 两 点 好 处 . 

(1) 大 大 减少 QR 算法 每 步 迭 代 的 计算 量 . 若 4 为 对 称 阵 , 则 化 简 后 的 结果 为 三 对 角 
阵 , 后 续 QR 迭代 的 计算 量 将 更 节省 . 

(2) 由 于 只 需 使 少量 的 非 零 元 收敛 到 0,QR 和 迭代 所 需 的 迭代 步 数 也 将 减 小 . 

2. 带 原 点 位 移 的 QR 算法 

可 将 原点 位 移 技术 与 QR 算法 结合 ,通过 原点 位 移 改 变 做 QR 分 解 的 和 矩阵, 它 一 方面 能 
提高 迭代 收敛 速度 , 男 一 方面 也 使 QR 算法 对 更 一 般 的 矩阵 收敛 . 

原点 位 移 技 术 分 为 “单位 移 ” 和 “ 双 位 移 ” 两 种 ,分 别 适合 于 实 对 称 和 矩阵 与 一 般 的 非 对称 
矩阵. 下 面 简要 介绍 面向 实 对 称 矩 阵 的 单位 移 技术 . 

设 wER ,k 二 1,2,… 为 第 k 步 迭代 的 位 移 因 子 , 则 带 位 移 的 QR 算法 迭代 计算 公式 为 

QR 二 Ai 一 5IJ (做 QR 分解) 
4 = RiO + sl . 

由 于 Art 二 RiQi 十 ss1 二 Qi (A 一 5.1)Q4 十 ssT 二 QiA1Q4, 得 到 的 矩 阵 序列 {A4) 仍 是 两 两 
正 交 相似 的 . 此 时 考虑 的 矩阵 A 是 经 过 Householder 方法 约 化 得 到 的 三 对 角 阵 ,实践 中 发 
现 ,矩阵 元 素 a,,,_1 一 0 的 速度 最 快 ,因此 a 最 先 收敛 到 特征 值 , 类 似 于 反 究 法 中 位 移 值 的 
选取 ,一 种 简单 的 策略 是 取 54 二 A4 n,n), 即 Ai 的 第 nn 行 、 第 n 列 元 素 . 采用 这 种 技术 将 加 
快 矩 阵 元 素 ww: 的 收敛 ,一 旦 它 足 够 接近 0, 则 迭代 矩阵 变 为 分 块 对 角 阵 ,只 需 对 删除 了 第 
n 行 ,第 n 列 而 得 到 的 子 和 矩阵 求 所 有 特征 值 . 

例 5.14( 简 单 原点 位 移 策 略 ): 使 用 简单 的 原点 位 移 策 略 重新 计算 例 5. 13. 采用 
公式 (5. 20) 进 行 迭代 ,并 且 取 54 二 A (n,n), 则 得 到 和 矩 阵 序列 的 前 几 项 为 


(k= 1,2,.). (5. 20) 


r 3.8816 一 0.0179 0.2355 € 0.5065] 
一 0.0179 2.9528 一 0.2134 一 0.1602 
4 一 | 02355 0.2134 2.0404 —0.0950| 
| 0.5065 一 0.1602 一 0.0950 1.1252j 
r 3.9945 一 0.0606 0.0499 ”0.0233] 
| 一 0.0606 2.9964 一 0.0882 一 0.0103 
外 一 | 0049 oo0882 2.0081 0.0252| 
| 0.0233 一 0.0103 一 0.0252 1.0009j 
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3.9980 一 0.0426 0.0165 0.0000 
一 0.0426 3.0000 一 0.0433 一 0.0000 
0.0165 一 0.0433 2.0020 一 0.0000|” 
0.0000 一 0.0000 一 0.0000 1.0000 
与 例 5. 13 中 的 结果 进行 对 比 ,采用 原点 位 移 技术 后 ,只 需 迭 代 三 步 最 后 一 个 对 角 元 就 
收敛 到 了 特征 值 , 接 下 来 只 需 考虑 左上 角 部 分 的 3 阶 主子 阵 , 求 其 他 的 特征 值 . 
总 结 上 述 讨论 ,给 出 一 种 采用 简单 的 单位 移 策 略 的 实用 QR 算法 . 


A; = 


算法 $.5: 一 种 计算 实 对 称 和 矩阵 特征 值 的 实用 QR 算法 . 
输入 : A,n; 输出 : oY 几 2 
利用 Householder 变换 将 矩阵 4 化 简 为 三 对 角 阵 ; 


k :=n; {对 4 的 前 & 行 k 列 执行 QR 算法 } 
While & 过 1 并 且 ai_1 冯 0 do 
3 一 03 
For j) 王 1，2,，…,A {计算 A(1:k,1:k) 一 I,，A(1:k,1:k) 为 A 的 & 阶 主子 阵 } 
Wp 
End 
用 Givens 旋转 将 A(1:&,1:&) 化 为 上 三 角 阵 ,得 到 旋转 阵 G;(j 二 1,…,k 一 1) 的 
参数 si 
| {计算 RQ 二 RGT…Gr_1) 
A I A EI LO, {执行 列 的 Givens 旋转 } 
End 
For j=1, 2, .…,k {计算 A(1:k,1:&) 十 :I} 
a =a hss 
End 
If ai,1-1=0, then 
R= 1 
End 
End 


4 的 对 角 元 就 是 待 求 的 特征 值 4 ，… ,7,. 


原点 位 移 技术 还 能 改善 QR 算法 的 适用 范围 . 对 于 实 对 称 阵 , Wilkinson 给 出 了 一 种 单 
位 移 策略 ,并 证 明了 对 一 般 的 矩阵 ,QR 迭代 过 程 一 定 能 收敛 到 对 角 阵 . 对 于 实 非 对 称 阵 ,可 
能 存在 一 对 复 共 轿 特 征 值 ,因此 要 使 用 双 位 移 技 术 ,一 般 总 能 使 QR 迭代 算法 收敛 到 拟 上 三 
角 阵 . 关于 QR 迭代 中 使 用 的 位 移 技 术 的 更 多 介绍 ,参见 文献 L[9、15、16 .35], 

将 QR 算法 计算 实 和 矩阵 特征 值 的 过 程 总 结 为 图 5-10, 其 中 包括 了 实 和 矩阵 4 为 非 对 称 拢 
阵 和 对 称 和 矩阵 两 种 情况 . 图 5-10 显示 ,整个 计算 过 程 分 为 两 个 阶段 :第 一 阶段 使 用 
Householder 方法 将 矩阵 变换 为 上 Hessenberg 矩阵 (或 三 对 角 和 矩阵 ) ;第 二 阶段 通过 QR 迭 
代 逐 渐 使 矩阵 变 为 拟 上 三 角 阵 (或 对 角 阵 ). 

就- I 
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XXXXxXx] FrXXxXxXxx] XXXxXxXxxq MXXxXxXxx] rxx X 

XXXXxX|l |Ixxxxx Xxxx| |xxxxxl |xxx X 

XXXXX|l>| xxXxxXxxX|> Xxx| |xxxxxl>| xxx |> X 

XXXXX X X X Xx| Ixxxxx X X X X 

X XXXX X x XJ [Xxxxx X X X 
(a) 非 对 称 矩 阵 (b) 对 称 和 矩阵 


图 5-10 用 QR 算法 计算 实 和 矩阵 特征 值 的 过 程 示意 图 (以 5X5 矩阵 为 例 ) 


一 旦 算出 了 矩阵 的 特征 值 ,可 使 用 反 震 法 求 出 对 应 的 特征 向 量 ,也 可 以 在 QR 迭代 计算 
过 程 中 记录 Q 和 矩阵 ,将 它们 连 乘 起 来 就 得 到 所 有 的 特征 向 量 . 有关 的 详细 讨论 参见 
文献 [15、16、21j]. 


5.5 有关 数 值 软件 


传统 的 特征 值 计 算 软 件 主要 处 理 稠密 矩阵 , 表 5-4 列 出 了 一 些 这 样 的 软件 和 程序 . 
EISPACK 是 20 世纪 70 年 代 开 发 的 计算 矩阵 特征 值 的 著名 软件 (由 FORTRAN 语言 
写 ) ,在 Netlib 上 能 够 找到 . 后 续 的 LAPACK 软件 包 也 提供 计算 矩阵 特征 值 的 标准 程序 ， 
而 其 他 一 些 软件 包 的 程序 大 多 数 以 它们 为 基础 . 这 些 标准 程序 都 基于 QR 算法 以 及 和 矩阵 化 
简 和 位 移 技术 ,程序 比较 复杂 . 一 般 都 调用 两 个 单独 的 程序 ,一 个 先 将 矩阵 约 化 为 上 
Hessenberg 矩阵 或 三 对 角 算 阵 , 另 一 个 用 QR 算法 计算 特征 值 ,是 否 计算 特征 向 量 决定 了 
是 否 需 要 形成 正 交 变 换 和 矩阵. 

表 5-4 稠密 矩阵 特征 值 计 算 和 QR 分 解 的 标准 程序 


特征 值 /特征 向 量 
软件 /程序 包 - - QR 分 解 
一 般 矩 阵 对 称 和 矩阵 
EISPACK rg rs 
HSL eb06 ea06 
IMSL everg evcsf 1]qrrr 
LAPACK sgeev ssyev sgeqrf 
LINPACK sqrdc 
MATLAB eig eig qr 
NAG f02ebf f02faf f08aef 
NAPACK diag sdiag qr 
NR elmhes/hqr tred2/tqli qrdcemp 
SLATEC rg rs sqrdc 


表 5-4 列 出 的 是 最 一 般 的 特征 值 计算 程序 ,也 只 适合 于 实 和 矩阵 . 这 些 软件 包 中 还 有 其 

他 的 附加 程序 ,包括 对 复 和 矩阵 的 处 理 , 或 者 只 计算 特征 值 而 不 计算 特征 向 量 ,只 计算 几 个 特 

征 值 等 . 对 于 带 状 矩阵 ,或 者 广义 特征 值 问 题 ,还 有 相应 的 程序 . 特征 值 计算 程序 的 输入 一 

般 是 存储 矩阵 的 二 维 数组 以 及 抢 阵 大 小 的 信息 ,而 根据 特征 值 是 否 为 复数 ,输出 为 一 个 或 两 
个 一 维 数组 . 如 果 还 计算 特征 向 量 , 则 规格 化 的 特征 向 量 也 由 一 个 或 两 个 二 维 数组 返回 . 
全 这 
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在 MATLAB 软件 中 ,计算 稠密 矩阵 特征 值 的 命令 是 esig ,常用 的 命令 格式 有 两 种 :d 一 
eig(A) 和 [V, Dj 二 eig(A). 前 者 返回 所 有 特征 值 ;后 者 得 到 矩阵 4 的 特征 值 和 完备 特征 向 
量 组 ,分 别 存储 为 对 角 阵 D 和 和 抢 阵 V. 与 求解 线性 方程 组 的 “\” 算 法 一 样 ,eig 命令 也 会 先 判 
断 矩 阵 的 类 型 ,然后 采用 最 适合 的 算法 来 处 理 . 除了 将 矩阵 约 化 为 上 Hessenberg 型 和 进行 
QR 迭代 外 , 它 可 能 还 会 对 矩阵 元 素 进行 比例 调整 以 保证 计算 的 数值 稳定 性 . 对 这 些 细节 感 
兴趣 的 读者 ,可 查看 MATLAB 的 在 线 帮助 文档 . 另外 ,MATLAB 中 的 命令 hess 可 将 矩阵 
正 交 相似 变换 为 上 Hessenberg 矩阵 ,而 命令 schur 计算 矩阵 的 Schur 标准 型 ,jordan 计算 
矩阵 的 约 当 标准 型 . 

对 于 大 型 稀 玖 和 矩 阵 的 特征 值 计算 问题 ,主要 算法 是 Lanczos 算法 (对 称 和 矩阵 ) 和 Arnoldi 
算法 ( 非 对 称 和 矩阵 ) ,它们 也 属于 Krylov 子 空间 方法 ,超出 了 本 书 的 范围 . NAPACK 中 的 
lancz 程序 和 Netlib 中 的 laso 程序 实现 了 Lanczos 算法 ,而 Arnoldi 算法 在 ARPACK( 人 参见 
文献 [17]) 和 Netlib 中 都 能 找到 , 它 是 MATLAB 中 eigs 命令 的 基础 . 在 MATLAB 中 , 命 
令 eigs 计算 稀 玻 矩阵 的 特征 值 和 特征 向 量 , 一 般 计 算 最 大 的 前 & 个 特征 值 (默认 & 王 6) ,而 
不 是 所 有 特征 值 . 对 于 这 类 问题 ,涉及 稀疏 矩阵 的 表示 结构 ,其 程序 中 也 注重 利用 稀 玖 和 矩阵 
结构 提高 计算 效率 . 

表 5-4 中 也 列 出 了 实现 矩阵 QR 分 解 的 软件 和 程序 . QR 分 解 的 一 个 主要 用 途 是 求解 
线性 最 小 二 乘 问 题 ( 见 第 6 章 ) ,因此 很 多 软件 包 中 也 提供 了 求解 线性 最 小 二 乘 问题 的 程序 ， 
与 QR 分 解 配套 使 用 . 在 实际 的 软件 包 中 ,应 考虑 矩阵 4 列 不 满 秩 的 情况 ,此 时 的 QR 分 解 
还 要 采用 列 重 排 的 技术 ,并 返回 一 些 反 映 和 矩阵 秩 的 信息 ,这 方面 的 内 容 超出 了 本 书 的 要 求 ， 
在 MATLAB 中 ,命令 qr 也 会 根据 矩阵 的 类 型 采用 不 同 的 方法 进行 QR 分 解 . 对 稠密 矩阵 ， 
它 使 用 Householder 变换 技术 ;对 于 稀 玖 和 矩阵 , 则 采用 Givens 旋转 技术 . qr 命令 还 能 处 理 
列 不 满 秩 的 矩阵 ， 


评 述 


矩阵 特征 值 问 题 与 线性 方程 组 求解 问题 一 样 ,是 数值 计算 中 的 经 典 问 题 , 本 章 只 讨论 了 
最 基本 的 矩阵 特征 值 计 算 和 相关 算法 . 早 在 1829 年 , 柯 西 (Cauchy) 在 一 篇 论文 中 就 讨论 了 
特征 向 量 的 概念 ,并 证 明了 实 对 称 和 矩阵 不 同 特征 值 对 应 的 特征 向 量 是 正 交 的 . 1855 年 , 凯 
莱 (Cayley) 明 确 提 出 了 特征 值 的 概念 ,但 特征 值 (eigenvalue) 这 个 名 字 直 到 20 世纪 中 期 才 
被 通用 . 1846 年 , 雅 可 比 提出 了 著名 的 雅 可 比 算法 , 它 通过 一 种 旋转 变换 迭代 地 将 对 称 和 矩 
阵 转化 为 对 角 阵 ,从 而 实现 特征 值 的 计算 . 1909 年 ,每 尔 证 明 , 任 何 矩 阵 都 相似 于 上 三 角 阵 
( 即 复 Schur 分 解 ) ,但 它 的 重要 性 直到 50 年 后 QR 算法 的 成 功 才 被 人 们 所 认可 . 

雅 可 比 算法 是 处 理 对 称 和 矩阵 的 迭代 算法 ,收敛 速度 较 慢 , 但 在 某 些 情况 下 可 能 比 QR 算 
法 更 准确 . 窜 法 也 很 早 就 出 现 了 ,但 其 实际 使 用 是 在 20 世纪 早期 开始 的 . 反 震 法 在 1944 年 
由 Wielandt 提出 . QR 算法 是 在 1961 年 由 Francis 和 Kublanovskaya 两 个 人 独立 提出 的 ， 
它 改 进 了 早期 Rutishauser 的 LR 方法 . Wilkinson 对 QR 算法 做 了 首次 完整 的 实现 和 重要 
的 收敛 性 分 析 ,包括 在 他 的 经 典 著作 中 : 

。 J. H. Wilkinson, The Algebraic Eigenvalue Problem, Clarendon Press，1965. 

(中 译本 由 石 钟 慈 等 译 ,科学 出 版 社 ) 
w 
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较 新 的 一 种 求 特 征 值 的 算法 是 分 治 (divide-and-conquer) 算 法 , 它 处 理 对 称 和 矩阵 ,迭代 收敛 
速度 一 般 比 QR 算法 更 快 . 感 兴趣 的 读者 可 参考 : 

。 J. J. M. Cuppen, A divide and conquer method for the symmetric eigenproblem, 

Numerische Mathematik, Vol. 36, pp. 177-195, 1981. 

第 4 章 提 到 的 Krylov 子 空间 夫 代 法 并 不 只 用 于 线性 方程 组 求解 ,还 用 于 矩阵 特征 值 的 
计算 . 1931 年 ,前 苏联 数学 家 Krylov 利用 军法 生成 的 序列 ( 称 为 Krylov 序列 ) 求 出 了 矩阵 
的 特征 多 项 式 . 1950 年 ,Lanczos 算法 被 提出 ,用 于 求 对 称 和 矩阵 的 特征 值 ,1951 年 又 出 现 了 
处 理 非 对 称 矩 阵 的 Arnoldi 算法 . 近 些 年 来 ,Krylov 子 空间 迭代 法 还 有 很 多 进展 ,成 为 求 大 
型 ( 稀 艳 ) 和 矩 阵 特征 值 问 题 的 主要 方法 . 要 了 解 更 多 的 情况 ,读者 可 参考 下 面 的 三 本 书 : 

。 G. H. Golub, C. F. Van Loan. Matrix Computations (3rd edition), Johns 

Hopkins University Press, 1996. 〈 袁 亚 湘 译 , 和 矩阵 计算 ,科学 出 版 社 ,2001 年 ) 

。 Z.Bai,，J. Demmel, J. Dongarra, A. Ruhe, H. van der Vorst, Templates for the 
Solution of Algebraic Eigenvalue Problems: A Practical Guide, SIAM 
Press, 2000. 

。 Y. Saad, Numerical Methods for Large Eigenvalue Problems, PWS Publishing 
Co. , 1996. http://ww-users. cs. umn. edu/ ~ saad/books. html 

与 矩阵 特征 值 计算 有 关 的 内 容 非常 多 ,也 有 很 广泛 的 应 用 ,本 章 所 介绍 的 只 是 其 中 很 小 
的 一 部 分 . 关于 广义 特征 问题 特征 值 问题 的 敏感 性 分 析 和 条 件数 以 及 算法 稳定 性 的 讨论 ， 
这 里 都 没有 涉及 ;本 章 没 有 讨论 复数 矩阵 的 处 理 , 但 主要 的 算法 基本 上 都 相同 ,只 需 将 正 交 
矩阵 的 概念 换 成 西 阵 Cunitary matrix); 密 切 相 关 的 内 容 还 有 和 矩阵 的 奇异 值 分 解 和 相关 算 
法 . 对 这 些 感 兴趣 的 读者 可 参考 文献 L[1] 及 其 他 文献 . 

最 后 ,对 QR 分 解 做 些 评述 . QR 分 解 的 思想 最 早 由 Schmidt 于 1907 年 提出 ,其 和 矩阵 形 
式 和 实用 的 算法 是 由 Householder 总 结 的 ,他 于 1958 年 发 表 了 计算 QR 分 解 的 
Householder 变换 方法 . 同一 年 ,Givens 也 提出 了 实现 QR 分 解 的 Givens 旋转 变换 方法 . 
本 章 介绍 了 实现 矩阵 QR 分 解 的 算法 ,并 讨论 了 对 n 阶 方 阵 进行 QR 分 解 的 一 个 应 用 一 一 
求 其 特征 值 的 QR 算法 . 在 第 6 章 , 还 将 介绍 QR 分 解 在 求解 线性 最 小 二 乘 问题 中 的 应 用 . 
另外 ,本 章 给 出 的 是 QR 分 解 的 基本 形式 , 它 还 有 一 种 矩阵 R 为 方 阵 的 “精简 ”形式 . 

【本 章 知识 点 】 和 矩阵 特征 值 的 主要 性 质 ; 特 征 值 的 重 数 ; 非 亏损 矩阵 (亏损 矩阵 ); 圆 盘 
定理 ;特征 值 分 布 情况 的 估计 ; 主 特征 值 ( 主 特征 向 量 ); 客 法 ;规格 化 向 量 ; 实 用 的 宪法 ;原点 
位 移 技术 ; 瑞 利 商 技术 ; Householder 矩阵 ;Householder 变换 ;Givens 旋转 变换 ;和 矩阵 的 QR 
分 解 ;矩阵 正 交 三 角 化 的 算法 ; 求 特征 值 的 收缩 技术 ; 拟 上 三 角 阵 ; QR 迭代 算法 ;上 
Hessenberg 矩阵 ;将 矩阵 约 化 为 上 Hessenberg 矩阵 的 Householder 方法 ;对 上 Hessenberg 
矩阵 进行 QR 迭代 的 算法 ; 带 原点 位 移 (单位 移 ) 的 QR 迭代 算法 . 


算法 背后 的 历史 : A. Householder 与 算 阵 分 解 


阿尔 斯 通 。 豪 斯 霍 尔 德 (Alston Scott Householder,1904 年 5 月 5 日 一 1993 年 7 月 4 

日 ) 是 美国 艺术 和 科学 院 院 士 \ 著 名 的 应 用 数学 家 、 生 物 数学 、 数 值 计 算 专 家 . Householder 

生 于 美国 伊利 诺 伊 州 的 洛克 福特 (Rockford) , 辛 于 加 利 福 尼 亚 州 的 马里 布 (Malibu). 他 分 
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别 于 1925 年 .1927 年 获得 美国 西北 大 学 的 学 士 和 美国 康 奈 尔 大 
学 的 硕士 学 位 ,专业 都 是 哲学 . 随后 他 在 一 些 学 校 担 任 数 学 教 
师 , 同 时 攻读 数学 博士 学 位 ,1937 年 他 取得 芝加哥 大 学 博士 学 位 
之 后 在 芝加哥 大 学 从 事 与 生 物 学 有 关 的 应 用 数学 研究 ,1944 年 
离开 芝加哥 大 学 在 美国 海军 研究 实验 室 担 任 数 学 顾问 ,研究 兴趣 
转向 数值 计算 . 第 二 次 世界 大 战 结束 后 的 1946 年 ,他 加 入 美国 
橡树 岭 国家 实验 室 (Oak Ridge National Laboratory，ORNL) 数 
学 部 ,从 事 数值 计算 有 关 的 研究 ,1948 年 他 开始 担任 数学 部 的 主 图 511 Householder 
任 . 当时 由 于 计算 机 的 兴起 ,数值 计算 变 得 非常 重要 ,在 各 种 研 
究 课题 中 迫切 地 需要 有 效 求 解 线性 方程 组 和 甜 阵 特征 值 . 1969 年 ,他 离开 ORNL ,成 为 美 
国 田 纳西 大 学 数学 教授 ,同年 获得 IEEE 计算 机 分 会 的 Harry M Goode Memorial 奖 , 以 表 
萌 他 在 应 用 计算 机 求解 大 规模 问题 的 数值 方法 方面 所 做 的 贡献 . 他 曾 担 任 美国 数学 会 主 
席 、SIAM 主席 和 ACM 主席 . 

Householder 的 主要 贡献 

1951 年 左右 ,Householder 在 线性 代数 算法 分 类 方面 做 出 的 一 系列 研究 工作 具有 重要 
意义 他 发 现 当 时 很 多 算法 的 内 在 本 质 都 是 相同 或 等 价 的 ,都 可 以 用 几 种 矩阵 分 解 形式 来 
表示 ,即将 矩阵 表示 为 三 角 答 阵 、 对 角 阵 或 正 交 阵 的 乘积 . 这 种 分 解 方法 的 提出 使 得 软件 开 
发 者 可 以 开发 灵活 而 有 效 的 给 阵 计 算 软 件 包 , 也 大 大 推进 了 数值 线性 代数 中 的 含 入 误差 分 
析 的 有 关 研 究 . 因此 ,他 的 这 项 成 果 被 评 为 “20 世纪 十 大 算法 ”之 一 . Householder 还 是 系 
统 地 使 用 范 数 作为 数值 方法 分 析 理 论 工具 的 先驱 者 . 他 于 1958 年 提出 了 短 阵 的 
Householder 变换 ,这 是 一 种 非常 有 用 的 对 称 、 正 交 答 阵 , 基 于 它 实现 了 高 效 、 稳 定 的 答 阵 
QR 分 解 . 他 的 研究 成 果 反 映 在 如 下 著作 中 : 

A. S. Householder. Principles of Numerical Analysis. McGraw-Hill, New York, 1953. 

A. S. Householder. The Theory of Matrices in Numerical Analysis. Dover, New 
York, 1964. 

除了 在 学 术 研 究 上 取得 成 功 ,Householder 还 积极 组 织 数 值 线 性 代数 方面 的 研讨 会 ,于 
1961 年 组 织 召 开 了 第 一 届 盖 特 林 堡 数值 线性 代数 研讨 会 (Gatlinburg Symposium on 
Numerical Linear Algebra) ,该 会 议 此 后 不 间断 地 召开 . 1980 年 后 ,为 了 表 间 Householder 
做 出 的 贡献 ,该 研讨 会 改名 为 Householder Symposium on Numerical Linear Algebra, 到 目 
前 为 止 已 召开 了 十 多 届 . 此 外 ,Householder 的 研究 贡献 还 包括 数据 处 理 技术 生物 数学 ,以 
及 计算 机 在 生物 医学 和 生理 学 方面 的 应 用 等 方面 . 


练 习 题 


A Aiz 
1 设 A=| 站 | ,其 中 41 为 3X3 和 矩阵 ,Azs 为 2X2 矩阵 ,又 设 和 ;为 A 的 特征 值 ， 


四 二 [aa vasj]" 为 对 应 的 特征 向 量 ,X4 为 Azs 的 特征 值 ,yi 二 [Bi,BB] 为 对 应 的 特征 向 量 . 
试 证 明 : 
(1) Xj 44 为 4 的 特征 值 . 
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(2) 号 王 [al ,oa ,as，0,0] 为 矩阵 4 对 应 于 4; 的 特征 向 量 . 
0.5 —0.6 0.6 


2. 用 圆 盘 定理 估计 和 矩阵 4=|1 ”一 1.2 一 0.8| 的 ol(4) 和 cond(A4); 的 范围 . 
0 一 00 $3 
3. 设 
4 一 1 
一 一 1 
4 一 Ss E Row ， 
一 1 4 一 1 
一 1 4 


试 确定 4 及 4 特征 值 的 界 ( 提 示 :用 圆 盘 定 理 估计 ). 
4. 用 震 法 计算 下 列 矩 阵 的 主 特征 值 及 对 应 的 特征 向 量 : 


起 二 | -加 ， 过 一 lg 
= = 二 
当 特 征 值 的 小 数 点 后 三 位 的 数值 稳定 时 终止 迭代 . 


5. 求 矩 阵 


与 特征 值 4 对 应 的 特征 向 量 . 
6. 利用 反 老 法 求 和 矩阵 


| 
1 1 
的 最 接近 于 7 的 特征 值 及 对 应 的 特征 向 量 . 

7. 试用 Householder 变换 对 和 矩阵 4 做 QR 分 解 , 求 出 矩阵 CQ 和 玉 . 


1 1 1 
A=|2 一 1 一 1 
2 一 4 5 


8. 用 Householder 变换 将 下 述 和 矩阵 进行 正 交 三 角 化 , 写 出 计算 步骤 ,包括 Householder 
变换 对 应 的 v 向 量 以 及 结果 R 矩阵 . 


4 0 0 
和 | 5 
5 


9. 用 一 系列 Givens 旋转 变换 将 抢 阵 


cn a 
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1 0 
0 1 

| 多 
二 名 六 

一 1 0 

@. = 

化 为 上 三 角 和 矩阵 ,将 结果 与 例 5. 11 的 结果 做 比较 . 

10. 若 4ER” "为 非 奇异 矩阵 ， 


OP oS 


A= OR, 
其 中 ,QER””" 为 正 交 阵 ,RER"" 为 上 三 角 阵 , 且 其 对 角 线 元 素 均 为 正 ,证 明 满 足 上 述 条 件 
的 矩阵 Q 和 R 是 唯一 的 . 

11. 用 Givens 旋转 变换 对 上 Hessenberg 矩阵 Ai 做 QR 分 解 ,然后 将 得 到 的 矩阵 C 和 
R 颠倒 次 序 相 乘 得 到 矩阵 4，, ,证 明 4, 仍然 是 上 Hessenberg 和 矩阵 . 

12. 利用 Householder 变换 将 


1 对 和 
. ; :| 
4 几 
正 交 相似 化 为 对 称 三 对 角 阵 . 
13. 假设 构造 Householder 变换 矩阵 HH 将 和 矩阵 A 正 交 相似 变换 为 
a | 六 
人 |， “| 
其 中 ,A1 ER™?Y%D ,nnERW%?, 设 Xs 是 A 的 一 个 特征 值 ,Xz 关 1, 对 应 的 特征 向 量 为 
y， 试 证 明 : 
是 4 的 与 1* 对 应 的 特征 向 量 . 
14. 设 2X7 和 矩阵 4 为 非 亏 损 矩 阵 , 设 P(A)==co 十 cA 十 … 十 c,-1X"”! 十 X" 是 A 的 特征 多 
项 式 , 试 证 明 :P(A)= 二 oI 二 cA 十 … 十 c,_14”! 十 4A" 二 0. 
15. 将 1~w 的 正 整数 填 和 人 阶 矩 阵 中 ,并 使 每 行 元素 之 和 相等 .每 列 元 素 之 和 相等 ， 
这 样 得 到 的 和 矩阵 称 为 n 阶 幻 方 矩 阵 (magic matrix) 。 下 列 3 阶 幻 方 矩阵 的 主 特征 值 是 多 少 ? 
8 1 6 
A; 一 5 7 
4 9 2 
一 般 的 守 阶 幻 方 矩阵 4, 的 主 特征 值 是 多 少 ? 
16. 双向 对 称 阵 (persymmetric matrix) 是 一 种 关于 正 对 角 线 和 反对 角 线 都 对 称 的 矩 
阵 . 一 些 通信 理论 问题 的 解 涉及 双向 对 称 阵 的 特征 值 与 特征 向 量 , 下 面 的 4X4 双向 对 称 阵 
就 是 一 个 例子 : 
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0 0 一 1 2 

(1) 用 圆 盘 定理 证 明 , 若 ) 是 矩阵 4 的 最 小 特征 值 , 则 |4 一 4| 二 oC(4 一 4D). 

(2) 计算 矩阵 4 一 红 的 所 有 特征 值 与 谱 半径 ,并 根据 它们 求 4 的 最 小 特征 值 以 及 对 应 
的 特征 向 量 . 

17. 一 个 线性 动态 系统 可 通过 下 述 方程 描述 : 


全 一 4A(CDOxG) HBOuUD, yG) = Cx 十 DCDOuaCD， 


一 般 地 ,A 是 一 个 n Xn 的 时 变 和 矩阵 ,B 是 一 个 n Xr 的 时 变 矩 阵 ,C 是 一 个 m Xn 的 时 变 拢 
阵 ,D 是 一 个 m Xr 的 时 变 矩 阵 ,x、ywu 分 别 为 n 维 、m 维和 7 维 的 时 变 向 量 . 要 使 系统 稳 
定 ,在 任何 时 刻 1 和 矩 阵 A 的 所 有 特征 值 都 必须 有 非 正 的 实 部 . 


(1) 如 果 
= 0 
A(1) = |—2.5 一 7 人 
0 0 一 5 
系统 稳定 吗 ? 
(2) 如 果 
| i 0 0 
0 一 2 1 0 
4(1) = 
0 0 一 5 1 
一 1 一 1 一 2 一 3 
系统 稳定 吗 ? 


上 机 题 


1. 用 震 法 求 下 列 矩 阵 按 模 最 大 的 特征 值 及 其 对 应 的 特征 向 量 x ,使 | (X41)4+1 一 
Q1)4|<107. 


5 一 4 1 
(1) A= |—4 6 一 4 

1 一 4 这 

25 一 41 10 一 6 
By B= 1 68 一 17 10 


一 心 10， 一 如 2 
2. 编程 实现 宪法 的 算法 5. 1. 考虑 例 5. 1 和 图 5-1 的 弹簧 一 质点 系统 ,假设 二 ks 二 
二 1,m 二 2.7 一 3,723 一 4, 使 用 宪法 ,收缩 技术 求 此 系统 的 三 个 振动 的 自然 频率 w. 使 用 
位 移 技 术 和 反 索 法 改进 解 的 准确 度 . 
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5 他 5 池 。 
68 005: 一 汉 .5 
5 0 O05 0.5 
D0 
和 矩阵 序列 收敛 的 情况 ,然后 解释 观察 到 的 现象 . 


0:5 
3. 设 A= ,在 MATLAB 中 实现 基本 的 QR 算法 ,观察 


0:5 0.5 0.5 Qi.5 


信 与 .= 

4. 采用 带 原点 位 移 的 QR 算法 计算 4 一 2 的 特征 值 ,观察 
生生 和 
从 和 三， 一 人， 一 个 0.5 


迭代 过 程 的 收敛 情况 ,与 上 机 题 3 的 实验 结果 做 比较 . 

5. 在 MATLAB 中 实现 算法 5.5, 可 采用 现成 的 一 些 命令 (例如 化 为 上 Hessenberg 矩 
阵 ,QR 分 解 ) ,用 它 计算 例 5. 13, 看 看 和 矩阵 收敛 到 上 三 角 阵 的 快慢 情况 ,将 它 与 例 5. 14、 
例 5. 15 观察 到 的 现象 做 比较 . 

6. 习题 14 的 结论 实际 上 可 推广 到 一 般 的 矩阵 ,这 是 Cayley-Hamilton 定理 , 即 任意 
nXn 和 矩阵 A 都 满足 其 特征 方程 . 

(1) 以 例 5. 2 中 的 矩阵 为 例子 ,编程 验证 Cayley-Hamilton 定理 (提示 :在 MATLAB 中 
poly 命令 可 直接 得 到 矩阵 的 特征 多 项 式 ). 

(2) 根据 Cayley-Hamilton 定理 ,有 

P(4) = cof 十 c4 十 … 十 cri4 一 十 如 一 O， 
则 对 任意 非 零 向 量 x , 若 设 总 =4Ax ,CR=1,2,…,2), 则 得 到 方程 
CoXo 十 cixi 十 … 十 crixXr il 二 一 Xn。 

这 是 关于 c ,ca ，… ,cs-1 的 线性 方程 组 ,通过 求解 它 可 得 到 特征 多 项 式 的 系数 . 编程 实现 这 
个 方法 ,并 用 较 大 的 矩阵 测试 ,将 结果 与 MATLAB 中 的 poly 命令 做 对 比 . 
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本 章 介绍 函数 逼近 与 函数 捅 值 的 有 关 理论 和 算法 . 函数 逼近 问题 与 函数 捅 值 问题 两 者 
既 有 联系 又 有 区 别 ,它们 都 是 用 较 简单 的 函数 来 近似 未 知 的 或 表达 式 较 复杂 的 函数 . 一 般 来 
说 ,函数 逼近 是 要 在 整个 区 间或 一 系列 离散 点 上 整体 逼近 被 近似 函数 ,而 在 进行 机 数 插值 
时 , 则 须 保 证 在 若干 自 变量 点 上 的 函数 值 与 被 近似 函数 相等 . 


6.1 际 数 逼近 的 基本 概念 


号 数 允 近 问 题 一 般 是 在 较 简单 的 函数 类 @ 中 找 一 个 函数 p(x) 来 近似 给 定 的 函数 
f(z) ,以 使 得 在 某 种 度量 意义 下 误差 函数 p(z) 一 A(z) 最 小 .被 允 近 函数 f(z) 可 能 是 
较 复杂 的 连续 函数 ,也 可 能 是 只 在 一 些 离散 点 上 定义 的 表格 函数 ,而 函数 类 @ 可 以 是 
多 项 式 、 分 段 多 项 式 、 三 角 一 数 . 有 理 函 数 等 . 函数 允 近 问题 中 度量 误差 的 手段 主要 是 
函数 空间 的 范 数 ,下 面 先 介绍 孔 数 空间 的 范 数 、 内 积 等 有 关 概 念 ,然后 讨论 函数 允 近 问 
题 的 不 同类 型 . 


6.1.1 函数 空间 


线性 空间 的 概念 大 家 都 很 熟悉 ,其 定义 中 包括 一 个 元 素 集合 和 一 个 数 域 ,以 及 满足 一 定 
运算 规则 的 “加 法 ”和 “ 数 乘 ” 运 算 . 简单 地 说 , 若 这 个 元 素 集合 对 于 "加 法 ”和 "”* 数 乘 ” 运 算 封 
闭 , 则 为 一 线性 空间 .线性 空间 的 元 素 之 间 存 在 线性 相关 和 线性 无 关 两 种 关系 ,进而 又 有 空 
间 的 基 和 维 数 的 概念 . 

在 这 里 先 考 虑 连续 函数 形成 的 线性 空间 . 例如 ,CLa,5j] 按 孔 数 加 法 以 及 函数 与 实数 
乘法 构成 一 个 线性 空间 . 对 于 La,bj] 区 间 上 所 有 k 阶 导数 连续 的 函数 全 体 CLa,6bj, 也 类 
似 地 构成 一 个 线性 空间 . 我 们 一 般 讨 论 实数 函数 ,因此 对 应 的 是 实数 域 RR, 若 讨论 复数 函 
数 , 则 相应 的 是 复数 域 C. 另外 ,与 线性 代数 中 讨论 的 向 量 空间 R" 不 同 ,连续 函数 空间 是 无 
限 维 的 . 

对 线性 空间 可 以 定义 范 数 的 概念 ( 见 3. 1. 2 节 ). 针对 实 连 续 函 数 空间 CLa,], 与 向 量 
室 间 类 似 , 可 定义 如 下 三 种 函数 的 范 数 (function norm). 


1) co- 范 数 

设 f(zx)ECLa,6bj,; 则 f(x) | = max | f(z) 图 

其 几何 意义 如 图 6-1 所 示 , 即 函数 值 绝对 值 的 最 大 值 . 
2) 1- 范 数 


有 ER | Ftey las 
其 几何 意义 如 图 6-2 所 示 , 即 函数 曲线 与 横 轴 之 间 的 面积 总 和 . 
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y 
max|f(o)| 


f(x) M2 


“| 


二 


图 6-1 函数 f(z) 的 =- 范 数 图 6-2 函数 f(x) 的 1- 范 数 


3) 2- 范 数 
f(z) ;= [reodz] 
2- 范 数 也 常 称 为 平方 范 数 , 其 几何 意义 与 1- 范 数 类 似 . 
线性 空间 还 有 一 个 重要 概念 是 内 积 , 它 定义 了 空间 中 两 个 元 素 的 一 种 运算 . 下 面 给 出 一 
般 的 线性 空间 内 积 的 定义 . 
定义 6.1: 设 S 为 实数 域 及 上 的 线性 空间 , w,vE SS, 定义 值 域 为 及 的 二 元 运算 (u,v)， 
若 满足 
(1) (xu 一 (ut 》， (可 交换 性 ) 
(2) 《au,v) 二 abu,v), yoER， (线性 性 1) 
(3) 〈x 十 wz 一 (zx 志 ) 十 (zw)，YoES， (线性 性 2) 
(4) 《u,w) 宇 0, 当 和 且 仅 当 w=O 时 ?0,《u,u)= 二 0，( 非 负 性 ) 
则 称 《u,v) 为 一 种 实 内 积 运算 (inner product). 定义 了 实 内 积 的 线性 空间 称 为 实 内 积 空间 . 
应 说 明 的 是 ,将 定义 6.1 加 以 扩展 可 在 更 一 般 的 复数 域 C 上 定义 内 积 , 区 别 只 是 将 第 一 
条 性 质 改 为 共 斩 可 交换 性 : 
(usv) = (vu). 
例如 复 向 量 的 内 积 为 (u,v) 二 ww 可, 可 以 验证 它 满足 上 述 共 恩 可 交换 性 . 考虑 实 内 积 得 到 的 
结果 都 可 以 类 似 地 推广 到 复 内 积 空间 .另外 ,定义 6.1 的 条 件 3 还 说 明 零 元 素 与 任意 元 素 的 


积 均等 于 0. 
根据 内 积 的 线性 性 质 可 推出 
《ait 十 aztz = a va uv, yaoa EC， C6 1) 
更 一 般 地 有 
(Pow) 一 Pat, Va ,ma E C. 《6 2 
这 里 主要 考虑 函数 空 间 ， 则 式 (6. 2) 表 明 , 线 性 组 全 函数 ( 与 男 一 函数 作 ) 内 积 等 于 (相应 各 个 
函数 ) 内 积 的 线性 组 合 . 
可 以 规定 一 种 依赖 于 内 积 运算 的 范 数 : 
lull a Vu,w). 


易 知 这 种 内 积 导 出 的 范 数 满 足 范 数 定义 的 三 个 条 件 ( 见 3.1. 2 节 ) ,详细 证 明 过 程 留 给 读者 
思考 .应 注意 ,在 向 量 空间 中 ,常用 的 向 量 内 积 导 出 的 范 数 等 同 于 向 量 的 2- 范 数 . 在 实 函 数 
空间 CLa,0j 中 ,一 般 定 义 内 积 为 


@ 这 里 用 正体 的 字母 O 表示 线性 空间 的 零 元 素 . 下 同 . 
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b 
rity = | 本 (6. 3) 


因此 ,由 它 导出 的 范 数 也 等 同 于 函数 空间 的 2- 范 数 . 
下 面 介绍 与 内 积 有 关 的 两 个 重要 定理 . 
定理 6.1: 设 S 为 实 内 积 空间 , Yu,v€ S, 有 
| (u,v) |? SR (uy) (v0). (6. 4) 
这 是 著名 的 柯 西 - 施 瓦 英 不 等 式 (Cauchy-Schwarz inequality). 
定理 6. 1 的 证 明 留 给 读者 思考 , 若 u.v 为 三 维 向 量 ,也 请 思考 该 定理 有 什么 几何 含义 。 
定理 6.2: 设 S 为 实 内 积 空间 ,mm ,…，,zES, 则 格 莱 姆 矩阵 (Gram matrix) 
(Wy) AU Ks 
(Ursus) (UssuU2) … (uns U2) 
G= : 轩 s (C65) 
Ci Kat) re wsdl} 
非 奇 异 的 充 要 条 件 是 ul ,… ,wu 线性 无 关 . 
【证 明 】 首先 要 用 到 线性 代数 中 的 一 个 基本 结论 
和 矩阵 C 非 奇异 后 det(G) 天 0 全 齐 次 线性 方程 线 Ca 一 0 只 有 全 零 解 . 
设 向 量 a 二 [a ,…,a,] , 则 方程 Ca 一 0 可 写成 


Da wv) =0, (k=1,2,.,n). (6.6) 
j=1 


下 面 证 明 方程 组 (6.6) 只 有 恒 零 解 的 充分 必要 条 件 是 ww ，… ,us 线性 无 关 . 先 证 必要 性 ， 
即 已 知 方程 组 (6.6) 只 有 和 恒 零 解 , 要 证 ww,…,u, 线性 无 关 . 采用 反 证 法 , 若 ww ,… ,wu 线性 相 


关 , 即 存在 不 全 为 0 的 一 组 系数 {aj ,j 二 1,… ,使 Dau 二 0, 则 


Da wm) = (Pausu) = 00) =0, (k= 1,.,n) 
j=1 j=1 


即 这 组 {a;} 是 方程 组 (6.6) 的 解 , 与 已 知 条 件 了 矛盾 
再 证 明 充 分 性 , 即 已 知 ww，,… ,wu 线性 无 关 , 要 证 方程 组 (6.6) 只 有 全 零 解 . 仍 采用 反 证 
法 , 若 方程 组 (6. 6) 存 在 不 全 为 零 的 一 组 解 {w 》, 则 


Dat ,Uk:) 一 (Daw, w= 0 (k= lyn); 
将 上 述 方程 中 第 个 方程 乘 以 ai， 累加 所 有 方程 得 到 
(Du, Daw) 一 0， 


根据 内 积 的 定义 , 必 有 Do wj 一 0, 也 就 是 说 存在 不 全 为 0 的 一 组 {a;)?-1 使 De ) 一 0， 


这 与 ww， ,un 线性 无 关 的 已 知 条 件 巴 盾 . 综 上 所 述 ,完成 了 定理 的 证 明 . 国 
应 注意 , 格 莱 姆 矩阵 是 实 对 称 和 矩阵 ,并 且 当 ww ，,…,w 线性 无 关 时 , 它 是 对 称 正定 矩阵 . 
针对 实 函 数 空间 CLa,6j ,常常 有 权 函 数 、 加 权 内 积 的 概念 . 
定义 6.2: 着 函数 p(x) 宇 0, YrELa,0j, 且 满足 
(1) | zp de 存在 (R 王 0,1,…)， 
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b 
(2) 对 非 负 连续 函数 g(z), 若 | g (Dp de 二 0 可 推出 g(x) 二 0， 


则 称 oCz) 为 区 间 [La,o 上 的 权 函 数 (weight function). 

关于 权 函 数 的 定义 ,说明 以 下 3 点 . 

(1) 定义 中 对 连续 性 没有 要 求 , 即 oCz) 可 能 不 是 连续 函数 ;第 一 个 条 件 要 求 的 是 p(x) 
与 多 项 式 乘 积 为 可 积 函 数 . 

(2) 定义 中 第 二 个 条 件 的 意义 不 是 很 直观 , 较 直 观 的 一 种 等 价 形式 为 : 不 存在 子 区 间 
(cdODS[a, 妇 ,使 p(z) 一 0, WE(cd), 即 * 权 函数 在 La, 妇 中 任 一 子 区 间 不 恒 为 零 ” 

(3) 一 般 遇 到 的 CLa,6b] 中 的 非 负 函数 (一 定 有 界 、 可 积 ) , 若 不 在 某 一 子 区 间 恒 为 零 , 则 
都 可 作 权 函数 . 

定义 6.3: 车 plz) 为 区 间 [La,b] 上 的 权 函 数 , 则 可 定义 CLa,6J 上 的 内 积 为 

u(x),v(X)) = | ecpucoecodr， C67 


并 称 其 为 加 权 内 积 (weighted inner product). 

容易 验证 加 权 内 积 满足 一 般 内 积 的 定义 ,并 且 常 用 的 函数 内 积 式 (6. 3) 是 加 权 内 积 的 特 
例 , 其 对 应 于 权 函 数 poCz) 三 1 的 情况 .根据 加 权 内 积 也 可 以 导出 范 数 ,这 种 范 数 可 看 成 是 广 
义 的 2- 范 数 , 其 公式 为 


b 1/2 
| cz) 1 = [ec fF waz] . 


6.1.2 函数 逼近 的 不 同类 型 


在 函数 通 近 问题 中 ,用 简单 函数 p(x) 来 近似 f(x), 并 要 求 误差 最 小 . 这 里 度量 误差 大 
小 的 标准 是 范 数 , 采 用 不 同 范 数 时 其 问题 的 性 质 是 不 同 的 . 下 面 分 两 种 情况 讨论 . 

1. co- 范 数 

考虑 误差 函数 p(x) 一 f(x) 的 吕 - 范 数 , 假 设 函 数 的 定义 域 为 La,5j, 则 可 设 

se= | zz) 一 z) | = Dax | PE) = Fry | 
因此 有 一 e 志 p(x) 一 f(z) 二 e, YrE La,6bj, 即 
p(x)—e<f(x) plr)te, VrE€ [a,b]. 

图 6-3 显示 了 函数 p(x)、f(z) 以 及 p(x) 一 f(x) | -之 间 的 关系 ,从 图 中 可 以 看 出 ,在 ce- 
范 数 意义 下 的 禹 近 要 求 使 s 尽量 小 ,也 就 是 要 p(x) 在 整个 区 间 上 “一 致 地 ”接近 f(x). 因 
此 ,采用 ce- 范 数 的 函数 逼近 问题 常 称 为 最 佳 一 臻 逼近 . 


p(x)+e 
| P(x) 
站 1 P(E 


Ca 


b 3 
图 6-3 函数 pC(z)、f(z) 以 及 p(x) 一 f(x) -之 间 的 关系 
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2. 1- 范 数 和 2- 范 数 
先 看 看 误差 函数 p(xz) 一 f(x) 的 1- 范 数 ， 
pz)— F(x) |s = 上 | Dr — Fry | drs 


令 4= p(x) 一 f(x) | 1, 则 它 表 示 p(x) 和 f(z) 两 个 函数 曲线 之 间 的 面积 ( 见 图 6-4). 在 
1- 范 数 意义 上 的 逼近 要 求人 A 尽量 小 ,也 就 是 要 p(x) 与 f(z) 曲线 之 间 的 总 面积 尽量 小 ,反映 
出 这 种 允 近 有 整个 区 间 上 “平均 ”误差 尽量 小 的 含义 (在 某 个 子 区 间 上 误差 可 能 很 大 ). 


/四 


A=|| p(x) —f 


| 
| 
| 
| 
| 
| 
| 
| 
b 


Lg 


和 长 三 三 二 三 三 


> 


| 
图 6-4 函数 p(xz)、f(z) 以 及 p(x) 一 f(x) 中! 之 间 的 关系 


2- 范 数 的 意义 与 1- 范 数 大 体 上 类 似 , 由 于 它 更 容易 处 理 ,在 实际 的 逼近 问题 中 一 般 采 
用 2- 范 数 . 这 种 盘 近 称 为 最 佳 平 方 逼 近 或 最 小 二 乘 逼 近 (least squares fitting ). 

从 直观 上 看 ,采用 ==- 范 数 的 最 佳 一 致 逼近 效果 更 好 一 些 , 而 最 佳 平 方 逼 近 具 有 平均 误 
差 最 小 的 含义 . 

除了 可 采用 不 同 的 范 数 来 度量 误差 函数 ,被 双 近 函数 也 可 分 为 连续 函数 和 表格 函数 两 
种 情况 . 表格 函数 就 是 仅 在 一 系列 离散 自 变量 点 上 已 知 函数 值 的 函数 ,可 通过 函数 值 组 成 的 
向 量 来 刻画 ,有 关 芝 近 问 题 的 求解 有 特殊 的 处 理 方法 . 而 在 允 近 孔 数 类 方面 ,多 项 式 孔 数 是 
最 常用 的 一 种 .下 面 给 出 魏 尔 斯 特 拉 斯 定理 (Weierstrass Theorem), 它 是 用 多 项 式 函 数 进 
行 允 近 的 一 个 重要 依据 . 

定理 6.3; 设 F(z)ECLa,o, 则 对 任何 s 盖 0, 总 存在 一 个 多 项 式 PCz) ,使 | PCz) 一 
f(z) | -<<e 在 [a, 0 上 成 立 . 

该 定理 的 证 明 已 超出 了 本 书 的 要 求 ,因此 不 做 讨论 . 值得 一 提 的 是 , 若 f(x)€ CL0,1j， 
伯 恩 斯 坦 多 项 式 (Bernstein polynomial)? 


B,(f,7x) = D7(E)Qcz), 
其 中 
丽 k = 
Q(x) = (Ck [Ml et 
就 是 满足 定理 要 求 的 多 项 式 P(x). 注意 B,(f,7z) 为 n 次 多 项 式 ,并 且 可 以 证 明 limB, (了 ,x) = 
f(x) 在 L0, 1] 上 一 致 成 立 . 因此 ,CL0,1] 中 的 任意 函数 都 可 以 用 伯 恩 斯 坦 多 项 式 ( 一 致 ) 各 


近 到 任意 好 的 程度 . 应 注意 , 它 一 般 不 是 多 项 式 函 数 类 P, 中 的 最 佳 一 臻 逼近 . 
最 后 说 明 一 点 , 求 最 佳 一 臻 逼近 多 项 式 的 方法 比较 复杂 , 感 兴趣 的 读者 请 参考 文献 


@ 由 原 苏联 数学 家 伯 恩 斯 坦 (1880 一 1968) 于 1912 年 提出 . 
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[5 .9]. 本 章 后 面 主要 介绍 求 最 佳 平 方 逼 近 的 方法 , 它 有 很 广泛 的 应 用 . 
6.2 连续 函数 的 最 佳 平方 逼近 
为 了 记号 的 方便 ,在 6.2 节 和 6.3 节 我 们 记 函 数 的 自 变量 为 上 
6.2.1 一 般 的 法 方程 方法 
1. 问题 描述 
假设 对 /CD E CLa, 站 进行 函数 通 近 ,逼近 函数 类 中 应 是 形式 简单 的 函数 类 ,比如 多 项 
式 函 数 、 三 角 函 数 、 有 理 函 数 等 ,并 且 它 是 有 限 维 的 线性 子 空间 . 设 B= span {gi (1)，…， 
gr( 四 ), 则 @ 的 任 一 元 素 可 表示 为 
S(1) = SY gy, (6..8) 


其 中 ,zi,*… ,zx, ER. 
连续 函数 的 最 佳 平方 逼近 问题 就 是 求 S(1) EB, 使 上 S(WD) 一 了 (1) ;达到 最 小 值 . 利用 
公式 (6.8) 以 及 2- 范 数 的 定义 ,上 述 问题 等 价 于 最 小 化 


F= ‖ SG 一 AD 1 一 | [Bx9,0 —/D]d. (6. 9) 
和 
下 是 关于 实 系数 zi ,zo，…,Xx, 的 多 元 函数 ,需求 出 下 的 最 小 值 对 应 的 那 组 系数 zl， 


ee 
2. 法 方程 方法 
下 面 推导 如 何 求 式 (6.9) 的 最 小 值 点 .为 了 记号 简便 ,省 略 函 数 记号 中 的 “(4)”, 即 直接 
用 了 表示 F0) .根据 2- 范 数 与 内 积 的 关系 ， 


F= ‖S 一 入 | 一 《 Drip; = Dip; = 
j=1 Ft 


由 多 元 函数 取 极 值 的 必要 条 件 知 , 系 数 mi ,zz ,… ,zx, 应 满足 方程 
aF 


=0, k=1,,n, (6s LO 
Gk 
即 
9 
= es Dp) -2 (fp) + (f,7)) 
= Ss TL Pi, 9 25 《Or 
1 
=2zi (ge ,94) a —2(f,g) =0, (k= 1,.,n). 
j=1 
jk 
上 述 推导 得 到 等 价 的 方程 
Dzilgsp) = (frp (k= l,m), (6.11) 
j= 


这 是 关于 zi ,zz，… ,zs 的 一 个 线性 方程 组 ,其 矩阵 形式 为 
“190, % 


第 6 章 函数 逼近 与 函数 插值 


(gi1s91) (pa ,91) ns (ns 1) 1 《JP ) 
《 We WF 
Pp 人 9 世人 区 一 CB 
(gi ,pn) (gz » pr) 。。 gn» pn) Ry 《三 mr》 


注意 到 上 述 方程 的 系数 矩阵 为 格 莱 姆 矩阵 , 且 wm ,…:,P, 是 内 积 空间 下 的 基 , 线 性 无 关 , 因 此 
根据 定理 6. 2 ,方程 (6. 12) 的 系数 矩阵 非 奇 异 , 其 解 存 在 并 且 唯 一 . 设 方程 (6. 12) 的 解 为 
zt , 则 得 到 最 佳 平方 逼近 函数 为 
S =zig+zrigt tig E . (6 L3% 

线性 方程 组 (6. 12) 常 被 称 为 法 方程 (normal equation) ,这 种 求 最 佳 平 方 逼 近 函 数 的 方法 称 

应 当 指 出 ,方程 (6. 10) 是 多 元 函数 取 极 值 (最 值 ) 的 必要 条 件 ,而 非 充 要 条 件 . 因此 上 述 
推导 过 程 得 到 的 zf ,… ,x; 未 必 能 保证 多 元 函数 下 取 最 小 值 .下 面 证 明 得 到 的 函数 S* 确 
实 与 /具有 最 小 2- 范 数 距 离 . 

由 于  ，…,z 是 方程 (6. 11) 方程 (6.12) 的 解 , 则 


Dri gp) = frp), (k=1,,n), 
再 根据 方程 (6.13), 则 得 到 
(S* ,pa) = (fp) = (SS*—f,p) =0, (k=1,.,n). 
上 式 表明 ,误差 S 一 了 与 任 一 基 汪 数 g4 正 交 ,根据 内 积 的 线性 性 , 它 也 正 交 于 任 一 SE @， 
(S*—/f,S)=0, SESG. (6.14) 
方程 (6. 14) 表 明了 最 佳 交 近 函数 S 的 一 个 重要 性 质 , 即 它 对 应 的 误差 函数 正 交 ( 生 直 ) 
六 于 更 空间 的 任 一 个 基 , 也 就 是 正 交 于 @ 中 任 一 元 素 . 在 三 
Sf 维 向 量 线性 空间 中 ,上 述 性 质 的 含义 如 图 6-5 所 示 , 根 据 
立体 几何 的 知识 很 容易 理解 它 是 成 立 的 . 从 图 6-5 也 可 以 
2 Ss" 看 出 方程 组 (6. 12) 的 几何 意义 ,六 m >) 是 了 在 pi 方向 上 
的 投影 ,而 x; 是 S* 在 人 方向 的 坐标 ,po >) 是 gi 在 


图 6-5 若 S* 为 求解 法 方程 n 
而 得 到 的 允 近 91 方向 上 的 投影 ,于 是 Dri(pis gi) 表示 S* 在 1 方向 上 


的 投影 .方程 组 的 意义 就 是 S* 在 这 个 “平面 ”的 各 个 基 方 向 上 与 /有 着 相同 的 投影 ,因此 
S* 就 是 了 在 更 对 应 的 "平面 ?上 的 投影 ,是 对 三 的 最 佳 逼 近 . 
下 面 证 明 对 任意 SEB, 有 上 S 一 fi 宇 上 nS* 一 fi. 令 D= 上 SsS 一 fl 一 上 S* 一 13 
即 证 明 D 三 0. 
D=|S— fli |Ss*—/fli 
=(S—f,S—/)—(S*—/f,S*—/) 
=(S,S)—2(f,S)+(f,/)—(S*,S*)+2(f,S*)—(f,f) 
= 20437157 二 3 70") 28 0 Y 2f0) oS 
= SS = FN 
因为 S 一 了 与 @ 中 任 一 元 素 正 交 , 上 式 求 和 的 最 后 两 项 均 为 零 ,所 以 
了 二 光一 全 387 二 SS=—8* | 入 次 
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这 说 明 对 YSE B, eS 一 f 2 宇 S* 一 fi, 所 以 法 方程 方法 求 出 的 解 是 最 佳 平方 逼近 
解 . 总结 上 述 推导 ,得 到 如 下 的 定理 . 
定理 6.4: 假设 f 为 实 函 数 空间 的 某 个 元 素 , 而 下 为 该 空间 的 一 个 有 限 维 子 空间 ,@ 一 
span{ gr ,… ,gs) , 则 线性 方程 组 (6. 12) 存 在 唯一 的 解 z? ,… ,zx ,并 且 由 它 构造 的 元 素 
3 二 
为 惠子 空间 中 对 太 的 最 佳 平方 逼近 , 即 
1S —fl:= minl S— fil;. 
特别 注意 ,定理 6.4 的 结论 并 不 局 限于 连续 函数 空间 ,因为 前 面 的 推导 过 程 并 没有 利 
用 函数 的 有 关 性 质 , 这 使 最 佳 平方 副 近 问题 和 法 方程 方法 可 以 推广 到 更 一 般 的 线性 空 
间 . 若 仅 考 虑 实 内 积 空间 ,法 方程 (6. 12) 的 系数 矩阵 一 定 是 对 称 正定 的 ,详细 证 明 留 给 读 
接 下 来 讨论 最 佳 平方 盘 近 的 误差 . 令 6 二 S* 一 ,那么 
Il3= (Ss*—/f,S*—f)=(S*—/f,S)—(S*—/,f), 
其 中 第 1 项 为 零 , 这 是 由 于 S* 满足 的 重要 性 质 [ 式 (6. 14)]. 则 


上 | 任 一 一 (3 一 六 旋 一 7 用 一 《人 of 一 1 一 op 
65 
注意 最 后 求 和 式 中 的 (gy , /) 为 法 方程 (6. 12) 的 右 端 项 元 素 . 这 样 , 用 | | ; 减 去 法 方程 的 
解 向 量 与 右 端 项 的 内 积 , 可 算出 误差 的 2- 范 数 ,也 就 是 最 佳 平方 通 近 的 误差 : 
151 := 
下 面 给 出 法 方程 方法 的 算法 描述 . 


fio Dx (psf). (6. 16) 
3 二 


算法 6.1: 求实 连续 函数 最 佳 平方 逼近 的 法 方程 方法 . 
输入 : 被 逼近 函数 f, 基 范 数 wm ,… ,gs; 输出 : 逼近 函数 S. 
根据 式 (6. 12) 形 成 法 方程 Gx 二 b; 

用 算法 3. 10 对 和 矩 阵 G 进行 Cholesky 分 解 G=LL?; 

依次 执行 前 代 过 程 和 回 代 过 程 求解 方程 LL" x 二 b, 得 到 x; 


Se Sp 


3. 最 佳 平方 逼近 多 项 式 

上 面 讨论 了 一 般 的 最 佳 平方 逼近 问题 ,下 面 在 次 数 不 超 过 ?的 多 项 式 子 空间 P, 中 ,讨论 
如 何 得 到 最 佳 平 方 逼 近 多 项 式 . 

假设 要 求 f() 的 n 一 1 次 最 佳 平方 台 近 和 多项式, 函数 的 定义 域 为 [0,1j] 区 间 . 此 时 取 逼 
近 函 数 空间 的 基 函 数 为 单项 式 函 数 , 即 {1,t,… ,1"!), 则 法 方程 (6. 12) 中 系数 矩 阵 的 元 素 为 


1 
(grs9;) = | Li dt = 
0 


则 法 方程 的 系数 和 矩阵 ( 格 莱 姆 矩阵 ) 为 
2 92 


1 ”二 we. 
i (CR = 1,2,° ,nn), 
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1 Ll 
5 
1 1 1 

三 | 了 2 3 区 十 卫 
1 和 


n 7 十 1 二 | 
再 推导 方程 右 端 项 的 计算 公式 ,得 到 完整 的 法 方程 为 


1 1 1 

1 友 3 | reou 
1 1 1 

本 二 Ta | roomd 
Ll 1 1 Tn a 

| 2 = 这 


例 6.1( 最 佳 平方 逼近 多 项 式 ) : 设 f(1) 二 V1 十 , 求 区 间 [0,1] 上 的 一 次 最 佳 平方 逼近 
多 项 式 , 以 及 通 近 误差 的 2- 范 数 . 
【 解 】 由 于 求 一 次 多 项 式 ,要 确定 两 个 多 项 式 系数 . 先 计算 法 方程 的 右 端 项 : 


1 
| rou=| VITPd = 羡 In0 二 VITP) 十 二 V1l+r 
0 0 


1 
0 


也 In(1 十 YD 十 方 V2 1. 147， 


人 1 
| ou = 人 VEITEd = 二 .部 GT 一 村 (2VZ 一 D) ~ 0.609. 
0 0 0 
需求 解法 方程 ; 
i 二 
2 [= JW 
1 1|Lzd Lo.609】 
2 3 


解 得 xz 二 0.934 ,zx 二 0.426, 则 一 次 最 佳 平方 逼近 多 项 式 为 
Sr (1) = 0.934 十 0.426t. 
根据 式 (6. 16) , 求 出 误差 函数 的 2- 范 数 为 


2 


1 SO 一 Fo 1 =[ fo Df] 


. 
二 A | (1 十 刀 )dt 一 (0.934X1.147 十 0.426 x 0.609) 
0 


= 051. 国 
注意 在 上 述 讨论 中 ,由 于 被 逼近 函数 的 定义 域 为 L0,1] 区 间 ,法 方程 的 系数 矩阵 实际 上 
是 Hilbert 矩阵 ( 见 3.1.3 节 ), 当 n 较 大 时 它 是 高 度 病态 的 矩阵 ,实际 计算 中 引起 很 大 的 数 
值 误差 . 事实 上 ,即使 被 双 近 函数 的 定义 域 不 是 [0,1] 区 间 , 只 要 选取 单项 式 函 数 {1,1,…, 关 ) 为 
基 薄 数 ,法 方程 的 系数 矩阵 都 具有 类 似 的 病态 性 . 
。 193 。 


数值 分 析 与 算法 (第 2 版 ) 


男 一 方面 ,上 述 方法 得 到 的 法 方程 是 一 个 稠密 的 线性 方程 组 , 当 很 大 时 求解 它 的 计算 
量 很 大 . 6. 2. 2 节 将 介绍 正 交 函数 族 的 概念 ,利用 它 将 加 速 法 方程 的 形成 与 求解 . 


6.2.2 用 正 交 函数 族 进行 逼近 


1. 正 交 函数 族 与 正 交 多 项 式 
定义 6.4: 设 函 数 f(1) ,g(t)E CLa,bj],o(t) 为 权 函 数 , 若 
Ce Ee | oproscod = 
则 称 f(D) 与 gC 在 [a, 中 上 带 权 正 交 . 若 函数 族 {o (7) ,… ,gi (1),…) 满 足 
tpt = | ecpwomcod = 坟 要 | 
则 称 函 数 族 {pe(2) } 为 在 Le, 6j 上 的 带 权 正 交 函数 族 . 
定义 6.4 给 出 了 带 权 正 交 和 带 权 正 交 函 数 族 的 概念 . 为 了 简便 ,下 面 省 略 “ 带 权 ” 两 个 
字 . 并 且 注 意 , 权 函 数 o() 三 1 的 情况 常 作为 一 种 特例 进行 单独 讨论 . 
例 6.2( 正 交 函 数 族 ): 1,cost,sint,cos(271) ,sin(21),… 为 [一 xx] 上 的 正 交 函数 族 ( 假 
设 权 函数 p02) 三 1). 并 且 ， 
《1,1 = 2r， 
《sin(kt),sin(kt)) = (cos(hkt),cos(kt)) =x, (k= 1,2,.). 图 
如 果 限 定 正 交 函 数 族 {gi (0) ,…,g,(?)) 的 元 素 均 为 次 数 不 超 过 一 1 的 多 项 式 函 数 , 则 
称 它们 为 一 组 正 交 多 项 式 (orthogonal polynomials) ,是 多 项 式 空间 P，; 的 一 组 正 交 基 . 
下 面 看 看 如 何 构造 正 交 多 项 式 和 正 交 函数 族 , 并 利用 它们 进行 最 佳 平方 逼近 . 
构造 正 交 函数 族 的 基本 做 法 是 格 莱 姆 -斯 密 特 正 交 化 过 程 (Gram-Schmidt 
orthonormalization). 若 考虑 的 是 多 项 式 困 数 空 间 ,由 于 11.,z, 妇 , 帮 ,} 是 一 组 基 函 数 , 则 
格 莱 姆 -斯 密 特 正 交 化 过 程 就 是 对 它 进 行 逐 个 正 交 化 的 操作 .具体 地 ， 


页 的 =1 而 的 = 同一 3 ED, k= 03890) 6.17) 
这 样 构造 出 的 函数 序列 {mo (bm (7),… ,gi(1),…) 为 正 交 多 项 式 序 列 , 且 具有 如 下 
(1) gi(?) 为 k 一 1 次 多 项 式 , 且 最 高 次 项 系数 为 1. 
(2) 任何 pC EP, 可 表示 为 {gi CD， ,pr CD) 的 线性 组 合 . 
(3) gi (21) 与 任 一 次 数 小 于 有一 1 的 多 项 式 正 交 . 
(4) 满足 如 下 递 推 公式 : 
‘1,1) 


| 一 1，Yw(CD 一 :一 村 


oa CD = tad) gD —Boe(t), (k= 2,3,.) 


(6. 18) 


丑 


_ pr(D ,p(t)» 6.19 
gl) ,G0 Re 


PACAOD 
Cpa Op a CY 


及 = 
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(5) 方程 gi(?) 二 0(8 宇 2) 的 一 1 个 根 都 是 区 间 (a,65) 上 的 实数 , 且 均 为 单 根 . 

前 三 个 性 质 很 直观 ,第 四 个 性 质 的 证 明 思 路 是 用 数学 归纳 法 证 明 式 (6. 18) 中 的 函数 满 
足 二 gj ,mw 之 一 0，W<<A( 参 见 文献 [6] 和 文献 L[29]) ,请 感 兴趣 的 读者 思考 .第 五 个 性 质 超出 
了 本 书 的 范围 ,其 证 明 及 应 用 可 参考 文献 [8]. 

2. 勒 让 德 多 项 式 与 其 他 正 交 多 项 式 

若 函 数 定义 域 为 区 间 [ 一 1, 1], 权 函数 o(1) 夺 1, 正 交 多 项 式 序列 中 的 多 项 式 被 称 为 勒 
让 德 多 项 式 (Legendre polynomial) ,用 Po (7) ,P; (z) ,… 表 示 . 勒 让 德 多 项 式 有 如 下 两 种 表 
达 形 式 . 

第 一 种 形式 通过 前 面 的 式 (6. 18) 一 式 (6. 20) 构 造 , 得 到 多 项 式 为 


| tdt 1 
P(t)=1, PCD = 一 之 一 一 泌 P(t) =#— 3 C6..21) 
| dt 
这 样 得 到 的 勒 让 德 多 项 式 最 高 次 项 系数 为 1. 
第 二 种 形式 是 罗 德 利克 (Rodrigul) 给 出 的 简洁 表达 式 
= 
2 
注意 其 最 高 次 项 系数 不 为 1. 事实 上 ,Pi(t) 的 上 述 两 种 形式 仅 相 差 一 个 倍数 . 
勒 让 德 多 项 式 (6. 22) 具 有 重要 的 理论 意义 和 实用 价值 ,下 面 再 给 出 它 的 三 条 重要 性 质 
(1) 正 交 性 , 即 


Po(t)=1, P(t)= (1) (= 2) (6. 22) 


[ie Jj 关 & 


《P;(1) ,Pi(1)) = py (6523) 


(2) 奇偶 性 , 即 
了 (一 四 = (—1)P,(1), 
它 表明 为 偶数 时 ,Pi(zx) 为 偶 函 数 ,否则 为 奇 函 数 . 
(3) 满足 较 简 单 的 递 推 公式 
(十 1) Pui(i) = (2k+1)tP,(t) —kPei(t), (k= 1,2,.). 
根据 这 些 性 质 , 得 出 前 几 个 第 二 种 形式 的 勒 让 德 多 项 式 为 [ 同 式 (6. 22)] 
Pll Bw BAtd P= D2 (6. 24) 
除了 勒 让 德 多 项 式 ,考虑 不 同 的 权 函 数 和 自 变量 定义 域 ,还 有 其 他 几 种 重要 的 正 交 多 项 
式 , 列 于 表 6-1 中 . 


表 6-1 几 种 重要 的 正 交 多 项 式 


P(t)=1, P(t)=t, 


让 德 多 项 式 | [一 1,1] |p(W)=1 | 
0 (k++D Pent) =(2k+ Pt) —kPe (tt) (k=1,2,.°) 


第 一 类 We T= 

,| = = | 
切 比 雪夫 多 项 式 V1l—er Tin(t)=2tTi(D— T(t) (k=1,2,°) 
第 二 类 


人 Un (ti 一 2t， 


| 二 二 
切 比 雪夫 多 项 式 | [一 1 |eD= YI oD 2 U0) (k=1,2,°.:) 
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名 称 定义 域 表达 式 / 递 推 公式 

Lo(t)=1, Li(t)=1—t, 

mn (DD=(1+28—DL DD—RL i(t) (k=1,2,.%) 
和 H(t)=21, 


Hin(t)=2tHi;(t)—2kH-1 (t) 


拉 盖 尔 多 项 式 | [0, 十 oo0) |p(2D)=e* 


埃 尔 米 特 多 项 式 a 


下 面 讨论 一 个 实际 应 用 时 常 遇 到 的 问题 : 如 何 得 到 任意 区 间 [a,5] 上 的 正 交 多 项 式 ? 
这 需要 利用 积分 变量 的 变换 来 推导 . 下 面 以 勒 让 德 多 项 式 为 例 ,看 看 如 果 将 定义 域 由 
[一 1,1j 推 广 到 La,6j 的 情形 . 
区 间 [ 一 1, 1jJ 上 的 勒 让 德 多 项 式 的 特点 是 下 面 的 积分 式 有 特殊 的 取 值 : 
|_ PPCWar, (jsk=0,1,2,.%), 


其 中 ,Pi(7) ,一 0,1,… 为 勒 让 德 多 项 式 . 要 考虑 一 般 的 La, 5] 区 间 , 需 将 积分 限 变 为 从 a 到 
b, 可 对 上 式 中 的 1 做 变量 代 换 , 令 


sk b+a 


5 一 5 2 5 
即 
至 2s— (a 二 5b) 
b—a 
此 时 有 
可 0 25— (a 6) 2 一 (& 十 0) -J 
| P;(t) P(t)dt = | (2 全 )P， (一 一). Fad 
令 B,(s)=P, (三 2). 则 序列 {5(7z)} 满 足 正 交 性 要 求 , 并 且 积 分 变量 的 变化 范围 是 
La,0j. 此 外 ,根据 式 (6. een 
(PB, (2) ,P(t)) = LP ,P(t)) = HS >0. 


2 


综 上 讨论 ,在 [a,b] 区 间 上 的 勒 让 德 多 项 式 序列 {Bi(7)} 可 根据 [一 1,1] 区 间 上 的 勒 让 德 
多 项 式 Pi (7) 得 出 ， 即 
— (a bb) 


个 二 远 


(7) P, (2 


3. 用 正 交 函数 族 做 最 佳 平方 至 近 

前 面 介绍 了 正 交 函 数 族 的 概念 ,并 给 出 几 种 具体 的 正 交 多 项 式 .下面 考 虑 将 正 交 函数 族 
作为 逼近 函数 空间 @ 的 基 , 则 法 方程 (6. 12) 的 系数 矩阵 退化 为 对 角 阵 ,因此 可 直接 写 出 方 
程 的 解 为 


); C01 (6. 25) 


Cf (2) ,9 (7)) 


0 (6. 26) 


Ea 一 
因此 ,最 佳 平方 通 近 函数 为 


gs es CC)y 
0 
S* () 是 对 f(t) €E CLa,6b] 的 一 种 近似 ,车 考虑 到 近 函数 空间 @ 为 无 穷 维 的 子 空间 ,例如 所 
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有 多 项 式 也 数 或 所 有 三 角 隐 数 , 则 可 得 到 展开 式 
f= Sp C627) 
方程 (6. 27) 是 f(1) 的 一 种 无 穷 级 数 展开 , 称 为 广义 传 里 叶 (Fourier) 展 开 , 其 中 的 zx 为 广 
义 傅 里 叶 系 数 .信号 处 理 中 常用 的 全 里 叶 展 开 是 一 个 特例 ,其 中 取 {gqi(7)}) 为 正 交 的 三 角 函 
数 序列 . 
例 6.3( 用 正 交 多 项 式 做 逼近 ) : 使 用 正 交 多 项 式 求解 例 6. 1 中 的 最 佳 平方 逼近 问题 . 


【 解 】 被 逼近 函数 f(z) 二 V1 十 ,其 定义 域 为 [0,1], 则 首先 要 将 勒 让 德 多 项 式 扩展 到 
[0,1] 区 间 上 . 根据 式 (6. 25), 得 正 交 多 项 式 为 


P(t) = Pd) =1, Pd) P(e ) Pi(21—1) = 2 一 1. 
和 一 入 
直接 求 出 法 方程 的 解 为 
人 
方 | V1l++ztdt 
DPD) J es 
(BoC) ,Po (7)) | 
0 
1 
Sg 2 2 
一 | i (21— Ld 
a = DE 
CB By 《2t—1,2t— 1) 1/3 


所 以 ,一 次 最 佳 平方 和 逼近 多 项 式 
Sr? (1) 一 1.147 十 0.213(2+ 一 1) 一 0.934 十 0.426t. 

与 例 6. 1 的 计算 结果 完全 一 致 . 国 

小 结 一 下 ,用 正 交 函数 族 做 最 佳 平方 允 近 具有 如 下 优点 . 

(1) 计算 方便 ,算法 稳定 性 好 . 上面 的 分 析 和 例子 说 明了 这 一 点 . 

(2) 便于 基 函 数 的 增加 、 删 除 . 这 一 点 从 式 (6. 26) 可 以 看 出 ,由 于 系数 的 计算 只 与 当前 
的 基 函 数 有 关 , 因 此 在 逼近 函数 表达 式 中 增加 、 删 除 基 范 数 不 影响 其 他 基 范 数 的 项 . 

最 后 补充 一 个 定理 , 它 说 明 随 着 阶 次 守 的 增 大 最 佳 平方 逼近 多 项 式 收 敛 到 被 逼近 函数 ， 
并 且 在 被 逼近 函数 具有 一 定 光 滑 性 的 前 提 下 ,最 佳 平 方 逼 近 多 项 式 还 能 达到 一 臻 逼 近 ( 一 致 
收敛 ) 的 效果 . 

定理 6.5: 设 f(1)ECLa,bj],S; (1) 是 f(1) 的 最 佳 平方 台 近 多 项 式 , 双 近 也 数 空间 为 
P, , 则 

(1) lim | S* (2)—f0)1;=0. 

(2) 车 六 (4) E CLa,6j, 则 对 任何 e 二 0, 当 充分 大 时 有 

关 € 
| J 


n 


6.3 曲线 拟 合 的 最 小 二 乘法 


在 科学 与 工程 计算 中 ,常常 遇 到 大 量 带 有 误差 的 实验 数据 ,需要 将 这 些 数据 点 拟 合成 一 
条 函数 曲线 ,从 而 总 结 、 验 证 相关 物理 量 之 间 满 足 的 函数 关系 . 称 这 种 问题 为 曲线 拟 合 
人 
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(curve fitting) , 它 要 求 构 造 一 个 不 必 严 格 满足 所 有 离散 数据 的 近似 函数 (曲线 ) ,并 使 到 近 


的 总 体 误差 达到 最 小 (如 图 6-6 所 示 ). 这 在 统计 学 上 也 Sr 
称 为 回归 分 析 (regression analysis ). 又 又 


若 将 离散 数据 点 看 成 表格 函数 , 则 曲线 拟 合 就 是 对 
表格 函数 的 逼近 . 若 定 义 了 表格 函数 的 呈 - 范 数 .2- 范 数 ， 
就 得 到 相应 的 最 佳 一 臻 逼近 和 最 佳 平方 逼近 问题 . 根据 
最 佳 平方 逼近 准则 进行 曲线 拟 合 的 方法 称 为 最 小 二 乘 
法 ， aa 全 图 6-6 对 数据 点 进行 曲线 拟 合 ， 
的 应 用 . 车 逼近 函数 可 表示 为 一 组 基 范 数 的 线性 组 合 .只 得 到 近似 函数 S” 
需求 组 合 系数 ,这 种 问题 称 为 线性 最 小 二 乘 (linear least 
square) 问 题 . 否则 ,相应 的 问题 为 非 线 性 最 小 二 乘 问题 . 本 书 仅 讨论 线性 最 小 二 乘 问题 . 


6.3.1 问题 的 矩阵 形式 与 法 方程 法 


假设 离散 数据 点 为 (1; ,fi) ,(i 二 1,…,m) ,ti 互 不 相等 , 它 对 应 表格 函数 f(7). 希望 在 某 
个 函数 类 B= 二 span{g1(7),… ,g(t)) 中 寻找 一 个 函数 S(7) ,使 得 它 与 Fi) 的 误差 总 体 上 达 
到 最 小 . 这 里 注意 3 点 . 

(1) 表格 函数 f(7) 的 表达 式 是 未 知 的 ,而 当 (i 二 1,…,m) 固 定时 , 它 可 用 函数 值 向 量 
一 [ 户 ，… 广 本 表示. 

(2) 所 有 定义 在 离散 自 变 量 点 4;(i==1,…,m) 上 的 表格 函数 构成 一 个 线性 空间 ,不 同 于 
连续 函数 的 线性 空间 , 它 是 有 限 维 空间 R”. 

(3) 车 只 考虑 自 变 量 点 t; 上 的 取 值 ,函数 类 @ 中 的 函数 也 都 是 表格 函数 ,它们 与 被 副 
近 函 数 f(z) 的 区 别 是 它们 的 表达 式 已 知 , 为 多 项 式 等 较 简 单 的 形式 . 

由 于 在 自 变量 点 点 固定 的 情况 下 ,表格 函数 与 包含 其 函数 值 的 向 量 一 一 对 应 , 它 的 内 
积 .2- 范 数 自然 就 定义 为 对 应 向 量 的 内 积 、2- 范 数 . 假设 表格 函数 定义 在 离散 自 变量 点 4 
(i 三 1,m) 上 , 则 它 的 内 积 为 


Cg) ,G60)) = Dp ti) p(t), 
i=1 


| Pi (zt) ©: = /2 | 9; (4) | 


最 小 二 乘 问题 是 求 S(1) ,使 得 ‖ SO) 一 了 (2) | 达到 最 小 , 即 SLs ) 一 fi 最 小 , 它 


的 直观 意义 就 是 离散 点 (4;,f;) 到 解 曲线 S(7) 的 Y 方向 距离 平方 和 最 小 应 注意 ,这 个 误差 
与 统计 学 上 的 均 方 误差 (也 称 为 均 方 根 误差 ) 有 关 , 均 方 误差 为 


ji 2 
加 | 元 22[SC a 


从 向 量 与 矩阵 的 角度 看 ,上 述 最 佳 平方 逼近 问题 有 另 一 种 形式 . 定义 矩阵 AE R”" 为 
pi(t1) gz (t1) Ne gn (ti) 


1 


而 2- 范 数 为 


(ts) (Cia a (Lz2 ) 
J (6. 28) 


gi (tn) gz (tm ) bb we Cl) 
2 198 * 
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它 的 第 7 列 为 表格 函数 gj; (7) 对 应 的 向 量 , 则 表格 函数 


SGD) = zp;(); (6. 29) 
j=} 


对 应 的 向 量 为 Ax, 其 中 x 二 [zw ,… ,x,] .所 以 ,最 小 二 乘 问题 就 是 求 向 量 x, 使 | 4Ax 一 了 | ， 
达到 最 小 值 . 车 m 记 n, 数 据点 总 比 要 确定 的 拟 合 参 数 多 . 车 m 二 nn, 通 常 可 求 出 唯一 解 使 得 拟 
合 曲线 通过 所 有 数据 点 ,这 是 后 面 将 介绍 的 插值 问题 . 

脱离 曲线 拟 合 的 问题 背景 ,可 定义 如 下 的 一 般 的 线性 最 小 二 乘 问题 . 

定义 6.5: 设 已 知 和 矩阵 AER”"(m 宇 n) ,向 量 FER", 求 向 量 xER" ,使 得 | f 一 Ax | ， 
达到 最 小 值 . 这 个 问题 称 为 线性 最 小 二 乘 问题 , 记 为 

A (6. 30) 

满足 要 求 的 解 x 称 为 最 小 二 乘 解 . 

由 于 6. 2. 1 节 法 方程 方法 具有 的 普遍 性 , 它 可 用 于 求解 线性 最 小 二 乘 问题 . 此 时 法 方程 
(6.12) 中 的 函数 内 积 为 函数 值 向 量 的 内 积 . 若 记 表 格 函 数 mr (1) 对 应 的 向 量 为 qi;, 则 a; 是 矩 
阵 4 的 第 i 个 列 向 量 (i==1,2,…,n) ,法 方程 (6.12) 的 系数 和 矩阵 为 


《0 ala! ala， … aia， 
(mon) tore) 和 (0 人 4 oo _ ATA, 
《而 aIal dalas … ala， 
其 右 端 向 量 为 
Cf yoi) al 
(az) al 
让 二 加 oh A 
(fsa,) asf 
所 以 ,需求 解 的 法 方程 为 
4I4x = A'f. (C6. 31) 


事实 上 ,根据 一 般 的 线性 最 小 二 乘 问题 的 定义 (定义 6. 5), 即 考虑 求 多 元 函数 下 二 
| 4x 一 三 上; 的 最 小 值 问题 ,也 可 推出 方程 (6. 31). 

在 做 曲线 拟 合 时 ,只 要 离散 点 1(i 二 1,…,m) 上 定义 的 表格 函数 wm (CD) ,…,p, (四 线性 无 
关 , 格 莱 姆 矩阵 G 一 定 非 奇异 , 且 对 称 正定 ,因此 方程 (6. 31) 的 解 存在 并 且 唯一 . 

下 面 给 出 用 法 方程 方法 求解 曲线 拟 合 问题 的 算法 . 


算法 6.2: 用 法 方程 方法 求解 曲线 拟 合 的 最 小 二 乘 问题 . 

输入 : 红 1 ;1 ,J[1… 7]， 函数 mw; 输出: z[C1,…，7]. 
根据 式 (6. 28) 形 成 矩阵 4; 

1 

[ER 记 

用 算法 3. 10 对 和 矩阵 G 进行 Cholesky 分 解 G==LL; 
依次 执行 前 代 过 程 和 回 代 过 程 求解 方程 LL" x 二 5b, 得 到 x. 


199.4 
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法 方程 方法 进行 最 小 二 乘 拟 合 的 前 提 是 表格 函数 mo (7) ,…,g, (71) 线性 无 关 . 考虑 定义 
在 离散 点 (i 二 1,…,m) 上 的 表格 函数 形成 的 线性 空间 ,车 wmP (4i) 十 … 了 (ti)=0 
(i 二 1,…,m) 当 且 仅 当 避 二 … 二 @, 二 0 时 成 立 , 称 mi (7),… ,gs(1) 关 于 点 集 [ 轨 ,… ,tj 线性 
无 关 , 否 则 它们 线性 相关 . 判断 是 否 线性 无 关 的 方程 为 
g(t) gz (1) i Pr (t1) Ql 


pi ts) gz (12) i gn (tz) Q2 


pt) (la) es 
其 中 ,等 号 左边 的 矩阵 为 人, 容易 看 出 表格 函数 wm (1) ,…,g, (1) 线 性 无 关 的 含义 就 是 矩阵 
4 的 列 向 量 线性 无 关 , 此 时 称 矩 阵 4 为 列 满 秩 的 . 在 这 种 条 件 下 ,根据 和 矩阵 理论 容易 证 明 
A'"A 是 非 奇 异 的 , 它 与 定理 6. 2 的 结论 吻合 . 

应 注意 , 若 某 个 区 间 上 定义 的 连续 函数 gy (7),…,g, (四 线性 无 关 , 它 们 在 点 集 {4 ,… 6} 上 
对 应 的 表格 函数 未 必 是 线性 无 关 的 . 

例 6.4( 线 性 相关 的 表格 函数 ): 当 1€E1L0,2xj 时 ,连续 清 数 sint, sin2t 显然 是 线性 无 关 
的 ,但 考察 点 集 {: 王 0,r,2r} ,显然 这 两 个 函数 线性 相关 ,因为 它们 的 函数 值 均 为 零 . 

要 判断 一 组 线性 无 关 函 数 om (1),…,g, (1) 是 否 关 于 某 个 点 集 线 性 无 关 需 要 考虑 哈 尔 
(Haar) 条 件 [ : Pi (7),，… ye 天 一 
个 不 同 的 零点 . 若 这 组 函数 对 点 集 {,… ,1 ) 满 足 Haar 条件 , 则 其 关于 点 集 就 是 线性 无 关 

一 般 地 ,考察 是 否 满足 Haar 条 件 非 常 困 难 , 但 对 于 多 项 式 函 数 族 {1,1,…,v"}, 易 知 它 对 
任意 点 集 (to。，,…,t,) 都 满足 Haar 条 件 ,因为 其 线性 组 合 为 n 次 多 项 式 , 最 多 有 nn 个 不 同 的 
零点 .对 于 多 项 式 集合 P, 的 任意 一 组 基 函 数 ,同样 可 以 看 出 它们 满足 Haar 条 件 . 因此 ,它们 
对 任意 点 集 (4o,… ,4 ) (mm 三 nn) 都 是 线性 无 关 的 ,这 说 明 我 们 可 以 放心 地 使 用 多 项 式 函 数 对 
离散 数据 点 进行 最 小 二 乘 拟 合 . 而 采用 其 他 函数 时 ,并 不 总 能 保证 它们 对 点 集 是 线性 无 关 
的 ,矩阵 A 可 能 列 不 满 秩 ,从 而 导致 方程 (6. 31) 的 解 不 唯一 . 

更 一 般 地 ,实际 应 用 中 还 可 能 出 现 数据 点 重合 的 情况 ,此 时 可 使 用 表格 函数 的 带 权 内 
只 .类似 于 连续 函数 ,离散 点 ti(i 二 1,…,m) 上 的 表格 函数 的 带 权 内 积 


(gi (1) ,gi(t)) = Dope JR 


其 中 ,pi 为 权 值 , ci 之 04G 一 1，…72)， 利用 带 权 内 积 可 根据 式 (6. 12) 形 成 法 方程 并 求解 . 在 做 
最 小 二 乘 拟 合 时 , 权 值 就 是 对 应 数据 点 出 现 的 次 数 ,利用 带 权 内 积 只 需 考虑 互 不 相等 的 4 
值 ,进而 保证 多 项 式 拟 合 时 的 格 莱 姆 矩阵 G 非 奇 异 . 

下 面 举 两 个 曲线 拟 合 的 例子 ,其 中 第 一 个 例子 采用 带 权 内 积 处 理 重合 数据 点 ,第 二 个 例 
子 使 用 算法 6. 2 ,不 需要 计算 内 积 . 

例 6.5: 已 知 一 组 实验 数据 如 表 6-2 所 示 ,其 中 pi 为 各 个 数据 点 出 现 的 次 数 ,用 最 小 二 
乘法 求 这 些 数据 的 拟 合 曲线 . 


表 6-2 一 组 实验 数据 
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【 解 】 将 所 给 数据 点 在 坐标 纸 上 标 出 ,如 图 6-7 所 示 . 从 图 中 看 出 它们 的 趋势 线 为 直 
线 , 故 假设 拟 合 函 数 为 S1(1) 二 zi 十 zzt, 这 里 基 畏 数 gi1(t)=1, 


10 
gz (CD 二 上 通过 带 权 内 积 (o: 为 权 值 ) 计 算 Gram 和 矩阵 的 元 素 值 : oF 六 
5 V 十 
8 可 
(gisg) = Dp = 8, 
外 /si 
* 
5 6 上 4 
(p192) = (gar91) 一 Dp 一 22， ~ | 六 
i=1 2 
5 A 
《pz ,2 》 一 > yo Ed 让 pe 
i=1 . 
5 让 
(pv f= ll 
i=1 


(gz,f) = 3 = 145.5 7 
Ws 图 6-7 例 6.5 的 数据 点 
根据 法 方程 法 ,可 得 到 方程 组 
8zi 十 22zs = 47 人 
22z 十 74zs 一 145.5” 
解 得 zi 一 2.5648,zs 王 1.2037( 小 数 点 后 保留 4 位 ). 于 是 所 求 拟 合 曲线 为 
Sr (1) = 2.5648 十 1.20371. 国 
例 6.6: 已 知 一 组 实验 数据 (ti;,y;) (i 二 1,… ,5) 如 表 6-3 所 示 , 用 适当 的 函数 对 它们 进 
行 拟 合 . 


表 6-3 一 组 实验 数据 (t.y;) 


ti 2.00 
Yi 8. 46 
Yi 2. 1353 


【 解 】 将 数据 点 在 坐标 纸 上 标 出 ,根据 其 分 布 ,大 体 上 可 确定 以 指数 函数 形式 来 描述 比 
合适 : yzies2 ,待定 参数 为 x 、x;. 但 是 这 个 函数 形式 并 非 关 于 参数 zi .zs 的 线性 组 合 ， 
所 以 不 是 线性 最 小 二 乘 问题 . 需 对 上 述 函 数 形式 加 以 处 理 , 转 换 为 可 由 基 范 数 的 线性 组 合 表 
述 的 形式 . 两 边 取 对 数 得 Iny~Inzi 十 zx2t. 同时 令 3 二 lny,Z1 王 lnzi, 则 需 拟 合 的 函数 形式 为 
5 三 Xi 十 zzt. 在 原 数据 表 的 基础 上 添加 一 行 ,表示 3;(i 王 1,…,5) 的 值 . 
此 问题 中 光 二 5,n 二 2,g1 (7) 二 1,gz (0 一 上 用 式 (6.28) 构 造 矩 阵 4 及 向 量 了 为 


1 “1.00 1.6292 

1 1.25 L7561 
A=|1 1.5 |, f= |1.8764|, 

1 75 2.0082 

1 2.00 2.1353 


列 法 方程 ATAx 二 47f 为 


[ 7.5 | [ pd 
7.5 1l.875JLz) Lil4.4239. 
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解 得 1 二 1.1225 ,zs 一 0.5057, 所 以 得 到 zi 二 =e™1 二 3.0725, 数据 的 拟 合 曲 线 为 
v0 国 

对 上 述 例子 说 明 几 点 . 

(1) 例 6.5 利用 表格 函数 的 加 权 内 积 与 一 般 的 法 方程 方法 列 方程 ,而 例 6.6 则 使 用 了 
法 方程 方法 的 矩阵 形式 ,它们 反映 了 求解 线性 最 小 二 乘 问题 的 两 种 不 同方 式 , 但 本 质 上 是 相 
同 的 . 

(2) 对 于 数据 点 的 自 变量 值 有 重复 的 情况 ,也 可 以 按 上 述 第 二 种 方式 (算法 6. 2) 求 解 ， 
此 时 和 矩阵 4 中 存在 一 些 相 同 的 行 .可 以 证 明 , 只 要 拟 合 的 阶 数 z( 和 矩阵 4 的 列 数 ) 不 超过 数据 
点 中 不 相同 自 变 量 值 (1;) 的 总 数 ,这 种 解法 在 求解 含 重合 数据 点 的 情况 时 与 采用 加 权 内 积 
的 方法 等 价 . 特别 地 ,做 多 项 式 拟 合 时 总 能 得 到 唯一 的 解 . 由 于 还 可 处 理 其 他 数据 点 自 变量 
有 重复 的 情况 ,算法 6. 2 的 适用 面 更 广 . 

(3) 对 于 拟 合 函 数 表达 式 不 是 已 知 函 数 的 线性 组 合 的 情况 (如 例 6.6) ,可 将 函数 表达 式 
进行 变换 得 到 基 函 数 线性 组 合 的 形式 ,才能 使 用 线性 最 小 二 乘法 . 

(4) 在 例 6.6 中 ,实际 上 是 对 y 进行 了 最 佳 平方 双 近 ,因此 首先 要 对 原始 数据 改造 得 到 
5 的 值 . 同时 注意 , 拟 合 的 结果 是 某 种 最 佳 副 近 , 但 已 不 再 使 离散 点 到 解 曲 线 的 Y 方 向 距离 
平方 和 最 小 . 


6.3.2 用 正 交 化 方法 求解 最 小 二 乘 问题 


对 于 连续 函数 的 最 佳 平方 逼近 问题 , 当 n 较 大 时 法 方程 方法 的 系数 矩阵 非常 病态 ,而 且 
求解 的 计算 量 很 大 ,因此 采用 正 交 函 数 族 来 进行 允 近 . 在 曲线 拟 合 问 题 中 ,法 方程 往往 也 具 
有 类 似 的 病态 性 ,而 且 计 算 474 会 放大 数值 误差 , 当 较 大 时 其 结果 准确 度 受 很 大 影响 . 本 
节 讨 论 构 造 正 交 基 函数 进行 曲线 拟 合 的 问题 ,重点 是 利用 第 5. 3 节 介 绍 的 矩阵 QR 分 解 , 得 
到 实用 、 有 效 的 算法 . 

对 于 定义 在 自 变 量 点 44(i 二 1,…,m) 上 的 表格 函数 ,6.2.2 节 介 绍 的 构造 正 交 还 数 族 的 
Gram-Schmidt 过 程 依然 适用 . 在 做 曲线 拟 合 时 ,由 于 内 积 运算 依赖 于 具体 的 自 变量 点 集 , 无 
法 利用 勤 让 德 多 项 式 等 事先 已 知 的 正 交 函数 族 , 这 是 与 连续 琐 数 逼 近 不 同 的 地 方 . 假设 根据 
初始 的 表格 函数 wm (0 ,…,g,(7?) ,经 过 正 交 化 过 程 得 到 一 组 单位 化 的 正 交 隐 数 {g CD) ,… ,yy 
CO), 则 曲线 拟 合 的 最 小 二 乘 解 为 


SC) = (6. 32) 
其 中 涉及 的 内 积 、 范 数 是 基于 自 变量 点 ti(i 二 1,… tae 范 数 . 
例 6.7: 对 例 6.6 中 的 线性 最 小 二 乘 问题 ,通过 Gram-Schmidt 过 程 构造 正 交 基 函数 来 


【 解 】 对 此 问题 ,要 拟 合 的 表格 函数 取 值 列 于 表 6-4. 
表 6-4 要 拟 合 的 表格 函数 取 值 
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原始 ee gz (一 上 正 交 化 过 程 如 下 : 
= 
| as | V5 


Bi) = p20) — ph RD = 1 (1/ V5) = :一 全 三 二 二 而 


人 (2) 一 


Dalt) t—1.5 
| gz) | V0.52 十 0.252: 十 0.25: 十 0.5? 


g(t) = = 1.264 911:— 1.897 367. 


再 计算 


5 
(CD ,gt)) = = 4. 206 133， 


y= 

V5 
5 

(GD ,g(t)) = 2 站 (1. 264 9114; — 1. 897 367) = 0. 399 807. 


所 以 ,根据 式 (6. 32) 写 出 拟 合 公式 为 


4.206 133 
有 万 


7 三 元; 十 Za 一 十 05399 .807 X (1,2649112— 1897 367) 


一 1.1225 十 0.5057t。 
这 个 结果 与 例 6.6 中 的 完全 相同 . 国 
更 一 般 的 、 实 用 的 方法 是 根据 定义 6. 5, 利 用 矩阵 的 QR 分 解 实现 基 函 数 的 正 交 化 ,也 
就 是 表格 函数 对 应 的 向 量 的 正 交 化 . 下面 详细 介绍 . 
假设 任意 采用 一 组 基 函 数 (g1 C7),… ,gs (1)) ,根据 式 (6. 28) 得 到 函数 值 矩 阵 4, 而 被 盘 
近 函 数 对 应 的 向 量 为 六 ,要求 拟 合 系数 *, 它 使 得 | f 一 Ax ,达到 最 小 值 . 借助 矩阵 4 的 
R 分 解 式 
A= OR， 
其 中 8 为 正 交 阵 ( 维 数 mxXm),R 为 上 三 角 阵 ( 维 数 mxXn), 则 有 
Fh = O00 — Rey 
由 于 Q 为 正 交 阵 , ef 一 Ax | ;二 0 f 一 Rx |: ,问题 转化 为 求 x, 使 得 | Cj 一 Rz ;达到 
最 小 值 .将 8 写成 1X2 分 块 矩 阵 的 形式 (注意 一 般 mx 二 n),Q= 二 [Q， Q;j, 其 中 Q, €E R”*"， 


R 
QsE Rw， ,而 将 R 写 成 R 一 | 。|, 其 中 Ri ER ,RR 为 (m 一 1 Xn 的 零 答 阵 . 则 
2 


er- 


Qi R; Qf 
根据 2- 范 数 的 定义 ,显然 有 


IQf—Rr|i= |Qf—Rx|i+ lfli=> | Qf1i. (6. 33) 
当 抢 阵 A 列 满 秩 时 ,由 于 Ri 的 列 秩 也 是 n, 它 是 非 奇 异 方 阵 , 存 在 唯一 的 解 x* 满足 方程 
Rix’ 一 CO (6. 34) 


此 时 ,上 Qf 一 Rx* | ,二 Qf, 达到 了 最 小 值 . 
从 上 述 推 导 看 出 ,只 需求 解 方 程 (6. 34) 即 求 出 所 要 的 最 小 二 乘 解 . 而 根据 式 (6. 33) 很 容 
易 算 出 最 小 二 乘 拟 合 的 误差 . 在 实际 计算 中 ,Ci 了 是 8 f 的 前 个 分 量 形成 的 向 量 , 它 在 将 
A 正 交 化 为 上 三 角 和 矩阵 的 同时 可 以 得 到 ,而 求解 上 三 角 和 矩阵 为 系数 的 线性 方程 组 (6. 34) 采 
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用 回 代 法 即 可 .下 面 给 出 利用 和 矩阵 的 QR 分 解 求解 曲线 拟 合 问题 的 算法 . 


算法 6.3: 利用 和 矩阵 的 QR 分 解 求解 曲线 拟 合 的 最 小 二 乘法 . 
输入 : t[1,°,m], FL1,… 7] ， 函数 (RD EIDE 输出 : zx[1,*… ,nj. 
根据 式 (6. 28) 形 成 矩阵 A; 


用 算法 5.3 将 4 正 交 三 角 化 得 到 矩阵 及 ,同时 将 正 交 变换 作用 于 向 量 f, 得 到 =Q7f; 


有) :RI 7 { 取 和 矩阵 R 的 前 行 } 
b :=f [1:n]; { 取 Qf 的 前 个 分 量 } 


执行 回 代 算法 3.2 求解 方程 Riz 王 2, 得 到 > 


下 面 用 一 个 例子 说 明 算 法 6. 3 的 实际 应 用 . 

例 6.8: 对 例 6.6 中 的 线性 最 小 二 乘 问 题 ,采用 算法 6. 3 进行 求解 . 

【 解 】 对 此 问题 ,要 拟 合 的 函数 形式 为 yY=2R 十 zl, 拟 合 的 基 函 数 为 om (Ci) 三 1， 
gz (1) 三 1, 矩阵 A 和 向 量 了 为 


1. 1:00 L6292 
1 .125 l .75861 
A=|1 1.5 |, f= |1.8764|. 
于 .78 2.0082 
1 2.00 2.1353 
用 Householder 变换 对 A 做 正 交 三 角 化 ， 
3.236 068 
1 
0 =V5 = 2.236068, vi =at+ae = |1 vi vi = 14. 472 136, 
1 
1 
使 用 向 量 wi = 二 vi/ wi 1; 构造 Householder 变换 ,算出 qs 经 过 变换 后 的 结果 为 
=3354 102 
一 0.095 4915 
EE 
a = a 2 人 v= | 0.154508 |， 
V1 V1 
0. 404 508 
0.654 508 
向 量 了 变换 后 结果 为 
一 对 206133 
=—0047 117 2 
vif 
Jo =f—-2- 半 人 v= | 0.0731828|， 
V1 Vl 
0.204 983 
0.332083 
此 时 矩阵 4 为 
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一 2.236068 一 3.354 102 


0 一 0.095 4915 
42 一 | 0 0. 154 508 
0 0. 404 508 
0 0. 654 508 
做 第 二 次 Householder 变换 ,om 三 一 0.790 569， 
0 0 0 
一 0.095 4915 一 0.790 569 一 0.886 0605 
vs = | 0.154508 |+| 0o = | 0.154508 |, wiw, = 1.400 983, 
0. 404 508 0 0. 404 508 
0. 654 508 0 0. 654 508 
向 量 "3 变换 后 结果 为 
一 4.206 133 
a 0. 399 807 
2) 
= je) = 2 = 人 = |—0.00475013 | ， 
V2 Us, 
0. 000 951 283 
0. 001 952 69 


此 时 和 矩阵 4 经 变换 为 
一 2.236 068 一 3.354 102 


0 0.790 569 

R= = 0 0 

0 0 

0 0 

根据 算法 6. 3, 需 求解 方程 Rix==b, 其 中 
[一 2.236068 一 3.354 102 [一 和 206 133 
| 0 0.790 soo | 0. 399 wd 

解 得 : x 二 [1.1225 0. 5057]5 , 即 拟 合 公式 为 YX= 王 1. 1225 十 0.5057z, 它 与 例 6.6、 例 6.7 得 
到 的 结果 是 一 样 的 . 图 


根据 表格 函数 与 其 函数 值 向 量 的 对 应 关系 可 证 明 ,算法 6. 3 与 通过 Gram-Schmidt 下 
交 化 过 程 求 最 佳 逼近 函数 的 方法 在 数学 上 是 等 价 的 . 不 同 之 处 在 于 : 前 者 不 涉及 正 交 函 
数 族 , 直 接 得 到 原 基 函数 对 应 的 拟 合 系数 ;前 者 的 主要 计算 是 矩阵 的 QR 分 解 , 它 可 通过 
Householder 变换 或 Givens 旋转 变换 等 不 同方 法 实现 . 由 于 算法 6. 3 直接 利用 和 矩阵 的 
QR 分 解 的 特点 , 它 更 易于 实现 和 应 用 ,而 且 稳定 性 比 算法 6. 2 好 . 最 后 说 明 一 点 , 若 初始 
的 表格 函数 m (0D ,… ,ww(b 线 性 相关 ,矩阵 4 不 是 列 满 秩 的 ,QR 分 解 也 能 进行 ,但 得 到 的 
上 三 角 阵 Ri 奇异 . 可 以 证 明 ,这 种 情况 下 有 无 穷 多 个 最 小 二 乘 解 ,详细 的 讨论 请 参考 文 
献 L1]. 
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应 用 实例 : 原子 弹 爆 炸 的 能 量 估计 


1. 问题 背景 


1945 年 7 月 16 日 ,美国 科学 家 在 新 墨西哥 州 Los Alamos 沙漠 试 爆 了 世界 上 第 


一 颗 原 


子弹 ,这 一 事件 令 全 球 震 惊 . 但 在 当时 有 关 原 子弹 爆炸 的 任何 资料 都 是 保密 的 ,而 很 多 其 他 
国家 的 科学 家 非常 想 知道 这 次 爆炸 的 威力 有 多 大 . 

两 年 之 后 ,美国 政府 首次 公开 了 这 次 爆炸 的 录像 带 , 而 其 他 数据 和 资料 仍然 不 被 外 界 所 
知 . 英国 物理 学 家 G. I. Taylor(1886 一 1975) 通 过 研究 原子 弹 


图 6-8 原子 弹 爆炸 的 蘑菇 云 


爆炸 的 录像 带 , 建 立 数学 模型 对 爆炸 所 释放 出 的 能 量 进 


进行 了 估 


得 到 估计 值 与 若干 年 后 正式 公布 的 爆炸 能 量 21kt 相当 接 
近 (1kt 为 1 千 吨 TNT 炸药 的 爆炸 能 量 ). 

Taylor 是 如 何 根据 爆炸 录像 估计 的 呢 ? 主要 是 通过 测量 
爆炸 形成 的 “蘑菇 云 ? 半 径 来 进行 估计 的 ( 见 图 6-8). 因为 爆炸 
产生 的 冲击 波 从 中 心 点 向 外 传播 ,爆炸 的 能 量 越 大 ， Wet) 
间 内 冲击 波 传 播 得 越 远 ,蘑菇 云 的 半径 就 越 大 . Taylor 通过 
究 录像 带 , 测 量 了 从 爆炸 开始 的 不 同时 刻 上 所 对 应 ne 


径 r(t) 如 表 6-5 所 示 . 
表 6-5 蘑菇 云 的 半径 r(bD) 


t r(t) t r(t) 1 r(t) 
0.10 Mi. 1 0.80 34.2 15.0 106.5 
0.24 19.9 0.94 36.3 25.0 130. 0 
0. 38 25. 4 1.08 38. 9 34.0 145. 0 
0.52 28.8 1. 22 41.0 53.0 175.0 
0.66 31,9 1.36 42.8 62.0 185.0 


x*4 的 单位 为 ms,r 的 单位 为 m. 
然后 通过 量 纲 分 析 法 建立 了 和 蘑菇 


4 本 


数据 最 后 求 出 了 爆炸 的 


云 半径 7 与 时 间 t 和 爆炸 能 量 玉 的 关系 式 , 利 用 上 述 


甩 里 。 

2. 数学 模型 a 

考虑 到 原子 弹 爆炸 在 极 短 的 时 间 内 释放 出 巨大 的 。 18go es 
能 量 , 蘑 奖 云 半径 主要 与 时 间 人 爆炸 能 量 已 以 及 空气 mol 
密度 o 等 几 个 参数 有 关 . 通过 仔细 分 析 这 几 个 量 的 单位 ， 120 上 
采用 量 纲 分 析 法 得 到 如 下 的 蘑菇 云 半径 的 近似 表达 式 : Ts 

r= of 
其 中 .i\ 的 单位 分 别 为 米 (m) . 秒 (s) 和 焦耳 ,而 室 气 对 
0 10 20 2 40 50 60 70 


密度 o 的 值 为 1.25(kg/ms). 对 这 次 原子 弹 爆 炸 来 说 ， 
万 为 一 固定 值 ,因此 与 壤 成 正比 .图 6-9 是 根据 蘑菇 
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时 刻 的 数据 
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云 半 径 与 对 应 时 刻 的 数据 画 出 的 散 点 图 , 它 大 体 反 映 了 这 个 趋势 . 接 下 来 的 问题 是 如 何 求 未 
知 的 参数 正 . 
3. 求解 过 程 
首先 ,改写 蘑菇 云 半径 的 公式 为 r 一 ol 的 形式 ,通过 测量 数据 拟 合 出 参数 a 和 0, 来 验 
证 量 纲 分 析 法 得 到 的 公式 .要 做 线性 最 小 二 乘 拟 合 ,进一步 改写 公式 为 
lnr = lna + blnt. 
根据 测量 数据 我 们 得 到 lnr 和 lnt 的 数据 ,将 它们 的 函数 关系 拟 合 为 一 次 多 项 式 ,得 到 系数 
5 二 0. 4094, 其 值 与 前 面 分 析 的 结果 2/5 非常 接近 ,从 而 验证 了 量 纲 分 析 得 到 的 公式 . 
为 了 更 为 准确 地 计算 爆炸 能 量 瓦 ,将 蘑菇 云 半 径 公 式 改写 为 
E 
5lnr— 2lnt = (5 | 


此 时 可 根据 测量 数据 得 到 51nr 一 2lnt 对 应 的 一 组 数据 ,将 它 拟 合 为 0 次 多 项 式 (常数 ), 设 得 
到 拟 合 系数 为 c, 则 
EF 过 pee 
根据 此 方法 算出 EAz8. 6418X10 ,单位 为 焦耳 , 查 表 得 知 1kt 二 4.184X10* 焦耳 ,因此 
爆炸 能 量 约 等 于 20. 65kt. 


6.4 ”函数 插值 与 拉 格 朗 日 插值 法 


函数 捅 值 可 看 作 一 种 "特殊 ”的 函数 逼近 问题 ,其 逼近 采用 的 "度量 ?准则 是 要 求 在 插值 
节点 处 误差 函数 的 值 为 0. 本 节 先 介绍 关于 插值 (interpolation) 的 一 些 基本 概念 ,然后 讨论 
一 种 最 简单 的 多 项 式 插值 一 一 拉 格 朗 日 插值 法 . 


6.4.1 插值 的 基本 概念 


在 科学 与 工程 实践 中 ,经 常会 遇 到 给 离散 数据 点 配 曲 线 的 问题 , 它 要 求 曲线 严格 通过 各 个 数 
据点 .图 6-10 显示 了 一 个 这 样 的 例子 , 即 求 连续 函数 y 一 
P(z) ,使 它 的 函数 曲线 通过 离散 点 Ca ,)，…Cz yw)， 

归纳 起 来 ,插值 主要 有 如 下 4 方面 用 途 . 

(1) 画 出 一 条 通过 某 些 离散 点 的 光滑 曲线 . 

(2) 对 于 仅 给 出 一 些 离散 点 上 函数 值 的 表格 函 
| ~ 数 ,估算 未 给 出 的 中 间 点 的 函数 值 

(3) 快速 .方便 地 估算 复杂 数学 函数 的 函数 值 . 
性 倡 问题 未 洛 图 (4) 用 简单 函数 近似 复杂 或 未 知 的 函数 ,从 而 导 
出 求解 非 线性 方程 .数值 积分 (或 求 导 ) 、 微 分 方程 等 


» Cn Yn) 


问题 的 一 些 方法 . 

第 一 方面 用 途 主要 在 机 械 设计 、 精 密 加 工 中 应 用 广泛 ,也 是 计算 机 图 形 学 的 重要 基础 ; 
第 二 ,三 方面 在 历史 上 曾 是 非常 重要 的 ,但 由 于 计算 机 等 其 他 有 效 计算 机 工具 的 出 现 ,逐渐 
被 人 们 淡忘 (实际 上 ,在 计算 机 的 内 部 程序 中 仍然 使 用 ) ;最 后 一 方面 用 途 说 明了 插值 在 数值 
分 析 、 数 值 计算 中 的 基础 地 位 , 它 是 沟通 有 限 维和 无 限 维 问题 的 一 种 有 效 手段 ,基于 它 可 推 
导出 一 些 求解 无 限 维 空间 问题 的 数值 方法 . 
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定义 6.6:; 设 x;E[a,0](i 二 0,1,…,n) 两 两 互 不 相等 ,它们 对 应 的 函数 f(x) 的 值 为 w， 
yi," ,Yn， 若 存在 函数 P(rx)E CLa,6bj, 使 得 
P(rzi) = yi, (i= 0,1,.…,n) (6.35) 
成 立 , 则 P(x) 为 jz) 的 插值 函数 , 自 变 量 的 值 xz。,… ,zw 称 为 插值 节点 ,包含 插值 节点 的 区 
间 [a,6j 为 插值 区 间 , 求 插值 函数 P(z) 的 问题 称 为 插值 问题 . 
不 同 于 曲线 拟 合 问题 ,插值 的 定义 要 求 已 知 数据 点 的 自 变量 值 互 不 相同 , 即 任 意 两 个 插 
值 节 点 都 不 重合 . 与 曲线 拟 合 问题 的 另 一 个 区 别 是 , 待 求 的 插值 函数 必须 严格 通过 给 定 的 离 
散 数据 点 . 
考虑 插值 问题 时 ,一般 插值 函数 中 待定 参数 的 个 数 等 于 数据 点 的 个 数 ,此 时 式 (6. 35) 中 
方程 的 数目 与 未 知 量 的 数目 相等 ,往往 可 求 出 唯一 的 插值 函数 . 当然 ,插值 问题 的 解 是 否 存 
在 并 且 唯 一 还 依赖 于 插值 函数 的 构造 方式 , 若 它 是 待定 参数 的 线性 组 合 , 则 方程 (6. 35) 转 化 
为 线性 方程 组 ,其 解 的 存在 性 .唯一 性 由 系数 和 矩阵 的 奇异 性 决定 . 
表 6-6 列 出 了 几 种 常见 的 插值 问题 类 型 ,本章 只 讨论 多 项 式 插值 与 分 段 插值 . 三 角 插 值 
与 函数 的 离散 傅 里 叶 变 换 有 关 , 是 信号 处 理 的 重要 技术 ,有 理 插值 主要 采用 帕 德 (Pade) 近 
似 方 法 ,这 些 内 容 超出 了 本 书 的 讨论 范围 . 
表 6-6 常见 的 几 种 插值 类 型 


插值 函数 类 型 插值 问题 类 型 
代数 多 项 式 多 项 式 插值 
分 段 多 项 式 分 段 插值 
三 角 函 数 三 角 插 值 
有 理 函 数 ( 有 理 分 式 ) 有 理 插值 


6.4.2 拉 格 朗 日 插值 法 


拉 格 朗 日 (Lagrange) 揪 值 法 是 最 基本 的 多 项 式 插 值 法 ,下 面 先 给 出 多 项 式 插值 问题 的 
描述 ,然后 介绍 拉 格 朗 日 插值 法 . 
1. 多 项 式 插值 
在 定义 6.6 中 ,车 要 求 插值 函数 P(x) 为 次 数 不 超 过 的 多 项 式 
P(z) = a 二 az 二 十 aniXx"”! 十 anx"， (6.36) 
则 相应 的 搬 值 属于 多 项 式 搬 值 ,插值 函数 P(x) 称 为 插值 多 项 式 . 结合 式 (6. 35)、 式 (6. 36)， 
得 到 关于 多 项 式 系数 co ,al,… ,a 的 2 十 1 阶 线性 方程 组 


ao 十 azo 十 … 十 az0 一 yo 
a Tiwi (6. 37) 
Qo 二 Taxa 二 "十 QnTn = Yn 
其 系数 和 矩阵 为 
i 总 0 2 
二 1 也 人 
有、 天 
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这 种 形式 的 矩阵 称 为 范 德 蒙 算 阵 (Vandermonde matrix) ,只 要 插值 节点 xo,…,x, 互 不 相 
等 , 则 可 以 证 明 它 是 非 奇 异 和 矩阵 . 有 两 种 证 明 思 路 , 简 述 如 下 . 

(1) 采用 反 证 法 ,假设 4 为 奇异 阵 , 则 有 一 组 不 全 为 0 的 系数 ao ,a ,…,a, (它们 组 成 向 
量 a) ,使 得 Aa 二 0. 设 这 组 系数 对 应 的 多 项 式 为 P(x), 则 

Pl(zxi) = 0, (一 0,1,…,7)， 

这 说 明 次 数 不 超 过 ， 的 多 项 式 PCz) 有 n 十 1 个 不 同 的 零点 ; zo，… ,zx 显然 违反 了 代数 基 
本 定理 ,因此 产生 矛盾 .这 证 明了 和 矩阵 A 非 奇异 . 

(2) 可 以 推导 行列 式 det(4), 不 难得 到 

det(4)= I] (x;— x). 


由 于 zo,…,x, 互 不 相等 ,所 以 有 det(4) 关 0, 和 矩阵 A 非 奇异 , 且 方 程 (6. 37) 的 解 存在 且 
唯一 . 
由 于 矩阵 A 非 奇 异 , 方 程 (6. 37) 存 在 唯一 的 解 ,因此 有 如 下 定理 . 
定理 6.6: 在 次 数 不 超 过 的 多 项 式 集合 P, 中 ,满足 式 (6. 35) 的 插值 多 项 式 P(z)EP， 
是 存在 并 且 唯 一 的 . 
2. 拉 格 朗 日 插值 法 
建立 方程 (6. 37) 并 求解 是 求 多 项 式 插 值 的 最 基本 方法 ,但 这 需要 求解 稠密 和 矩阵 线性 方 
程 组 , 既 不 便于 计算 ,也 不 便于 理论 分 析 . 下 面 介绍 简 便 的 方法 求 插值 多 项 式 . 
先 考虑 最 简单 的 n==1 的 情形 . 设 两 个 插值 点 为 ze、 ze 对 应 的 函数 值 为 w 、yr+1 ,要 求 
多 项 式 函 数 Li Cz)EP, ,满足 
LiCzk) = yx 
Li(zxin) = We 
由 于 一 次 多 项 式 Li(x) 的 几何 意义 是 直线 ,根据 解析 几何 知识 ,表示 通过 两 点 的 直线 可 用 
“两 点 式 ” 公 式 表示 , 即 


Li(x) = 2 丰 et (6. 38) 
Tk Tk+l 站 人 HI Th 
这 就 是 要 求 的 插值 多 项 式 . 公式 (6. 38) 表 明 ,Li(x) 为 两 个 一 次 多 项 式 
lz) = ,nz) = (6. 39) 
KE THAl RH Xk 


的 线性 组 合 ,其 组 合 系 数 分 别 为 函数 值 y 和 yi+1，, 即 
Li(7x) = yi) + yl (zx). 
换 句 话说 ,对 于 两 个 插值 节点 的 一 次 多 项 式 插 值 ,插值 函数 Li (xz) 为 两 个 一 次 多 项 式 的 线性 组 
合 , 组 合 系数 恰好 是 插值 节点 的 函数 值 . 这 个 特点 可 推广 到 高 次 多 项 式 插值 ,因此 得 到 拉 格 朗 
日 插值 法 . 
| 首先 列 出 公式 (6. 39) 中 的 两 个 函数 ( 称 为 拉 表示 7 二 沁 扶 格 队 日 丘 入 下 交 妆 

格 朗 日 插值 基 函 数 ) 具 有 的 两 个 特点 . 在 插值 节点 上 的 取 值 

(1) 为 一 次 多 项 式 函 数 . 

(2) 在 两 个 插值 节点 上 的 取 值 比较 特殊 ,如 
表 6-7 所 示 . 推广 到 nn 这 1 的 情况 , 设 n 十 1 个 插值 节 
点 为 ,如 ,… ,它们 对 应 于 函数 值 mm， 一人 (0 


a(x 
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:希望 求 得 的 插值 多 项 式 函数 L, (x) 为 不 超过 nn 次 的 多 项 式 ,并 且 具 有 如 下 的 线性 组 合 形式 : 
L(t) = 2) yy Cs (6. 40) 
其 中 插值 基 函 数 (zx)(k 二 0,1,…,n) 类 似 地 满足 条 件 : 
(1) 为 n 次 多 项 式 函数 ; 


(2) 在 插值 点 上 有 特殊 的 取 值 , 即 
1， 了 一 太 


li (Xi) = | . 5 (6. 41) 
0 记 且 启 

显然 ,如 果 满 足 上 述 两 个 条 件 ,公式 (6.40) 中 的 函数 局,(Cz) , 称 为 拉 格 朗 日 插值 多 项 式 , 就 自 
六 然 满 足 插值 要 求 , 成 为 所 求 的 插值 多 项 式 . 
2 剩 下 的 问题 是 如 何 求 满足 式 (6. 41) 的 n 次 多 项 式 
1 上---- 一 函数 以 (zx), 它 的 取 值 很 特殊 ,如 图 6-11 所 示 . 
0 J 二 由 于 在 除 zx 外 的 其 余 揪 值 节点 上 AcCz) 的 函数 值 
-1 均 为 0, 则 可 设 它 有 如 下 的 表达 式 
1 / LL(7i) = KR(i— mT — wa (sO ), 


由 于 (x 一 zx0)*…(Xx 一 X41) (Xx 一 X441)…(Xx 一 x,) 已 经 是 
n 次 多 项 式 , 所 以 为 待定 常数 .注意 ,参量 的 引入 
不 影响 已 满足 的 条 件 , 因 此 只 需 考 虑 余下 的 条 件 , 即 i (zi) 二 1, 来 确定 K 的 值 ,可 得 

1 
因此 得 到 插值 基 函 数 i (x) 的 表达 式 为 


pd 0 eC ri jp der a) 
2 (Th CO— To) Th — TE) Th 一 ZH) Th CO— Xa) 


上 述 推导 中 用 到 了 一 种 常用 的 技巧 ,就 是 把 插值 要 求 ( 需 满足 的 条 件 ) 分 为 两 部 分 ,根据 易 
于 满足 的 那 部 分 条 件 先 构 造 出 一 个 多 项 式 ,再 引进 少量 参数 ,通过 其 他 条 件 定 出 它们 的 值 . 
为 了 简化 表达 ,定义 2 十 1 次 多 项 式 wri (Xz): 


图 6-11 插值 基 函 数 > 一 w(z) 的 示意 图 


开 一 


(k=0,.,n). (6.42) 


wz) = [| (zx— 2), (6. 43) 
j=0 
则 
a (Cw) = (mE Or 
结合 公式 (6. 40) 和 公式 (6. 42) ,得 到 拉 格 朗 日 插值 多 项 式 的 另 一 种 形式 : 
(x) 
L, (zx) 一 a , (6. 44) 
2 (LT— ze) wm re) 


算法 6.4: 用 拉 格 朗 日 插值 计算 函数 值 . 
输入 : zL0,…,nj,yL0,…,nj， zt; 输出 : yt. 
VE 0; 
Rorz=05 1 > 

temp :=1; 


For j=0, 1,%%, n, ji, 
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temp :一 tempx (xt—zx[j])/(zx[Li]—zLj)]); 
End 
yt :=ytttemp* yLi]; 
End 


算法 6.4 给 出 了 利用 拉 格 朗 日 插值 计算 函数 值 的 过 程 ,其 中 数组 x、y 表示 插值 节点 和 
对 应 的 函数 值 ,xt 表示 输入 的 自 变量 的 值 ,yt 为 其 对 应 的 函数 值 . 当 输 入 值 zt 有 多 个 时 ,只 
需 重 复 上 述 算 法 过 程 即 可 .但 当 输 入 值 很 多 时 ,上 述 算法 的 计算 效率 可 能 不 高 ,可 考虑 先 算 
出 插值 多 项 式 表示 为 式 (6. 36) 对 应 的 系数 ,然后 使 用 算法 1.1 计算 多 项 式 函 数 的 值 . 


6.4.3 多 项 式 插 值 的 误差 估计 


插值 的 一 个 重要 用 途 是 估算 非 插 值 节点 处 的 函数 值 . 下面 讨论 利用 多 项 式 插值 计算 这 
个 函数 值 的 误差 . 

定理 6.7: 设 f(z) 为 定义 在 区 间 [a,5] 上 的 实 函 数 , 它 的 nn 阶 导数 连续 , 即 f(x) € 
C"[a ,如 , 且 ForD(z) 在 (wa,0) 内 存在 . 若 插值 节点 x;E€E[a,6b](i==0,1,…,n) ,相应 的 拉 格 朗 
日 插值 多 项 式 为 L,(Cz), 则 对 任何 zxE[a,o], 插 值 余 项 


“nt1) 
R,(z) = f(z) 一 L(z) = on), (6. 45) 


其 中 ,EE (ap), 且 依赖 于 zol(Cz) 一 (zz 一 zo)…( 工 一 了 ). 
【证 明 】 证 明 过 程 可 分 为 两 步 . 
(1) 确定 R(x) 的 形式 . 
函数 R, (zx) 在 插值 节点 上 的 值 为 0, 即 R, (zi) 二 0(i 二 0,…,n). 因此 ,可 设 R, (xz) 为 
RY 于 (全 (二 一 二 (6. 46) 
其 中 ,k(x) 为 一 个 待定 函数 . 
(2) 求 RCz). 
给 定 x 的 值 ,x 关 x;(i 二 0,…,n) ,我 们 考察 一 个 辅助 清 数 
p(t) f= === (6. 47) 
其 中 , 自 变 量 是 +:€E La,6j],g(t) 有 两 个 性 质 : 
@ 9p() 的 于 阶 导数 连续 , 即 pg(1)EC"[a,6b],g”*? (CD 在 (wa,0) 内 存在 . 
@ g(t) 至 少 有 nn 十 2 个 零点 . 因为 当 二 zi(G 一 0,…， 2) ,一 工时 , 均 有 2p(b 一 0. 


通过 考察 p() 各 阶 导数 的 特点 ,可 将 A(z) 与 结论 公式 中 的 妃 一 名 联系 起 来 . 首先 复 


习 高 等 数学 中 的 一 个 定理 一 一 罗 尔 (Rolle) 定 理 , 它 的 条 件 是 : f(x) 在 区 间 [a,6] 上 连续 ,在 
(a,0) 上 可 导 , 且 f(a) 二 了 f(5), 则 有 结论 : 至 少 存在 一 个 点 EE (a,0) ,使 广 (6) 一 0. 由 罗 尔 定 
理 可 推论 ,两 个 函数 零点 之 间 存 在 1 阶 导 数 零点 . 因此 ,根据 “g(t) 至 少 有 nn 十 2 个 零点 ”的 事 
实 , 可 得 到 如 表 6-8 所 示 的 pg(1) 各 阶 导 函 数 的 零点 分 布 情况 . 

注意 : 罗 尔 定理 结论 中 的 导数 零点 属于 开 区 间 , 因 此 表 6-4 中 g* (1)(k 二 1,…， 
n 十 1) 的 零点 是 各 不 相同 的 . 上 述 推导 表明 pg? (7) 在 (a,6) 内 有 一 个 零点 ,下 面 记 其 为 &. 对 
式 (6.47) 求 2 十 1 阶 导数 ,得 
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表 6-8 (0 各 阶 导 函数 的 零点 分 布 情况 


零点 满足 的 方程 零点 数目 零点 
9 (t)=0 | n+1 6o ,6 ss ln 
WAY) =0 | n E20 » E21 »*** 62,n—1 
gt (#)=0 1 Gt1,0 


DY = FD —0— Er) (nt DD!, 
这 里 利用 了 次 多 项 式 的 2 十 1 阶 导数 为 0 的 性 质 . 因此 


(CD (ntl) 3 
= —k(r).。 (n+ != > ZX) 一 ， 
9 (= k(n 1Y! 0 k(xz) (6. 48) 


(2 十 1)17 
其 中 ,ee (a,b), 且 依赖 于 zx, 因为 是 最 初 p(7) 的 十 2 个 零点 之 一 . 将 式 (6. 48) 的 结论 代 
入 式 (6.46) 即 得 到 要 证 明 的 式 (6. 45). 四 


公式 (6. 45) 称 为 拉 格 朗 日 插值 余 项 .应 注意 的 是 ,定理 成 立 的 条 件 对 被 插值 函数 f(x) 
的 光滑 性 有 和 较 高 的 要 求 , 即 要 求 n 阶 导 数 连续 ,n 十 1 阶 导数 存在 .另外 ,虽然 插值 余 项 表达 
式 中 8 无 法 确切 知道 ,但 它 在 插值 节点 的 最 小 值 与 最 大 值 之 间 , 据 此 可 估计 插值 误差 . 

例 6.9( 插 值 误差 估计 ): 已 知 sin(0.32) 王 0. 314 567 ,sin(0. 34) 一 0. 333 487, sin(0. 36) 一 
0. 352 274, 用 一 次 和 二 次 多 项 式 插值 分 别 计算 sin(0. 3367) ,并 估计 截断 误差 . 

【 解 】 由 题 意 取 xo = 二 0. 32, yo 二 0. 314 567,zl 一 0. 34, y= 二 0. 333 487,zs 一 0. 36, ,二 
0. 352 274. 

先 做 一 次 多 项 式 插值 , 仅 考 虑 xo .zi 两 点 ， 


sin(0. 3367) aL1(0. 3367) = yo 十 (0. 3367 一 xzo) 
1 Xo 
一 0.314 567 十 二 x 0.0167 = 0. 330 365， 


其 截断 误差 为 
区 < 于 (x= = | 


其 中 ,Ms 二 max | 了 (zx)|, 因 FGz) 一 sinz, PCz) 一 一 sinz. 可 取 Me 一 max |sinx|==sinxi 声 


TorEz] 


o<z<zl 


0. 3335, 于 是 截断 误差 
| R (0. 3367) | 过 于 X0.3335 又 0.0167 又 0.0033 过 0.92 又 10， 


用 二 次 多 项 式 插值 计算 得 
sin(0. 3367) ~L, (0. 3367) 


时 a j i (x (ww 
oh (0 — Ri) (0 — sy 二 (i — (Ri — ms) 《一 一 
a 0.7689 X 10 3.89X 10™ 
一 0.314 567 xX 0-_0008 二 .303.487% 0 0004 
一 起 ,5511X%W0 
十 0. 352 274X 一 000089 


“DL 
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一 0. 330 374. 
这 个 结果 与 6 位 有 效 数 字 的 正弦 函数 表 完 全 一 样 , 这 说 明 用 二 次 插值 准确 度 已 相当 高 . 其 截 
断 误差 


| R;Cz) [< 各 [i — zz ms x) | 


其 中 
Ms 一 max | f”(x) |= coszxo = 0.828. 
人 
于 是 
| R20,33677 | 寺 一 0,.828 X00167 文人 0033 汉 0.0233 < 0178 X10 图 
6.5 牛顿 插值 法 
6.4.2 节 介 绍 的 拉 格 朗 日 插值 法 具有 两 个 优点 : 一 是 公式 结构 对 称 , 便 于 记忆 与 编程 


二 是 便于 进行 理论 分 析 . 但 在 实际 应 用 中 ,如 果 增 加 或 减少 一 个 插值 节点 , 拉 格 朗 日 插值 法 
的 公式 变化 较 大 ,计算 不 方便 . 本 节 介 绍 另 一 种 构造 多 项 式 持 值 的 方法 一 一 牛顿 插值 法 . 


6.5.1 基本 思想 


考虑 一 个 动态 的 插值 过 程 中 ,插值 节点 的 数目 是 逐渐 增加 的 . 每 次 增加 一 个 插值 节点 
时 , 需 以 某 种 方式 判断 计算 的 准确 度 , 若 满意 则 停止 计算 ,否则 再 增加 一 点 或 删 去 刚才 那 点 
后 再 增加 . 下 面 介 绍 的 牛顿 插值 法 恰恰 可 方便 地 增加 或 删除 插值 节点 , 它 是 构造 插值 多 项 式 
的 另 一 种 重要 方法 . 

先 从 最 简单 的 情况 入 手 ,假设 只 有 一 个 插值 点 ro, 对 应 的 函数 值 为 AFCzo), 则 得 到 的 零 
次 插值 多 项 式 为 

Po(x) = f(zxo). 

如 果 增 加 一 节点 , 即 插 值 点 zk 和 对 应 的 (zi), 下面 看 看 如 何 求 一 次 插值 多 项 式 P(x). 

根据 动态 增 减 插值 点 的 需要 ,可 以 Po (zx) 为 基础 ,再 根据 解析 几何 中 所 学 的 “点 斜 式 ” 构 
造 直线 方程 

RD fzo) (i 


Pi(z) = FCzo) 十 。 
0 


a 代表 一 个 常 系数 . Pi (z) 是 在 Pu(z) 基 础 上 增加 一 项 得 到 的 , 若 要 从 Pi (zx) 变 回 Pu(Cz), 则 
删除 一 项 即 可 . 

将 上 述 插值 多 项 式 的 构造 方式 向 高 次 多 项 式 插值 推广 , 则 使 得 增加 或 删除 插值 节点 非 
常 方便 . 假设 前 n 个 插值 节点 xo ,zi ，… ,zx-1 对 应 的 多 项 式 为 P,_1(x) ,增加 点 x 后 的 插值 
多 项 式 为 P, (xz) ,我们 希望 有 类 似 于 式 (6. 49) 的 如 下 关系 : 

P(x) 三 (6. 50) 
根据 这 个 式 子 的 特点 可 以 看 出 ,P,(z) 在 zo ,Ti,……,X,-1 处 与 P,_1(x) 有 相同 的 取 值 ,自然 就 
满足 了 前 n 个 点 的 插值 要 求 .并且 ,注意 式 (6. 50) 中 多 项 式 的 次 数 不 超 过 n. 剩 下 的 问题 是 ， 
如 何 根据 P, (z, ) 二 f(x) 的 条 件 求 出 待定 参数 6c. 


mo .Pts cs = m0 (6. 49) 
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递 推 地 应 用 关系 式 (6. 50) ,可 得 
卫 ,(z) 一 co 十 cz 一 Zoo) 十 … 十 cz 一 Z)…( 工 一 1)， (CH 51 
此 插值 多 项 式 的 形式 不 同 于 拉 格 朗 日 插值 多 项 式 , 称 其 为 牛顿 (Newton) 插 值 多 项 式 ,一般 
记 为 入 C2) 


6.5.2 差 商 与 牛顿 插值 公式 


1. 差 商 与 牛顿 插值 系数 

为 了 方便 地 确定 牛顿 插值 多 项 式 (6. 51) 中 的 参数 ci(k 二 0,…,n) ,下 面 先 介绍 差 商 (也 
称 为 均 差 ) 的 概念 . 

定义 6.7: 按 如 下 公式 定义 函数 f(x) 关于 若干 插值 节点 的 & 阶 差 商 (8 二 0,1,2,…). 

f(x) 关于 x 的 0 阶 差 商 为 fLxij: 


flzi] = fx), (6. 52) 
f(z) 关 于 To» Th 的 1 阶 差 商 为 Ex 让 
FL se 一 一 一 一 (6.53) 


了 (zx) 关于 zo ,zx1，… ,zs 的 & 阶 差 商 为 FLzo ,zi，…z], (KE 一 2,3，…): 


fzos zis] = re Tee td — flros zi, ze (6. 54) 
TE Tel 
关于 定义 6.7, 应 注意 下 面 4 点 . 


(1) 0 阶 差 商 就 是 函数 自身 ,1 阶 差 商 FLzo ,zj 是 函数 f(x) 在 区 间 [xo ,zi 上 的 平均 变 
化 率 . 

(2) 一 般 的 k 阶 差 商 通过 低 1 阶 差 商 来 定义 [ 式 (6. 54)], 这 是 一 种 递归 定义 . 

(3) 定义 要 求 差 商 中 的 自 变 量 值 (插值 节点 ) 互 不 相等 ,否则 公式 中 分 母 为 零 . 

(4) 在 式 (6. 54) 中 , 差 商 的 计算 依赖 于 插值 节点 的 排列 顺序 . 

差 商 有 一 个 重要 的 性 质 , 即 差 商 的 对 称 性 . 例如 ,公式 (6.53) 表 明 1 阶 差 商 中 两 个 自 变 
量 的 位 置 是 可 以 交换 的 . 差 商 的 对 称 性 指 的 就 是 任意 改变 差 商 中 自 变量 的 顺序 不 会 改变 差 
商 的 值 . 类 似 于 1 阶 差 商 ,考察 2 阶 差 商 FLzo,z ,zsj], 由 相同 一 组 插值 节点 还 可 得 到 其 他 
5 个 2 阶 差 商 ; fLzxo sxz 31]; 了 Lz yzo ;x2j];fLz srs Tos fLrrzoszij; flLzszi xo. 通过 
简单 地 计算 ,发现 这 6 个 2 阶 差 商 是 相等 的 ,也 就 是 说 2 阶 差 商 的 值 与 自 变 量 的 排列 位 置 无 
关 , 即 具有 对 称 性 .下面 通过 两 个 定理 说 明 一 般 的 差 商 的 对 称 性 . 

定理 6.8: 函数 /(x) 关 于 插值 节点 zo ,zi ，,… ,zs 的 & 阶 差 商 满足 


k 
和 太一 ， (6.55) 

j=0 
[II (wi — 2 
1=0,1#j 

_ SY fw) ys a 
即 f[zo,°% ,721] = >， ,其 中 ori(z) 为 式 (6.43) 定 义 的 A 十 1 次 多 项 式 . 
j=0 k+l 了 


【证 明 】 采用 数学 归纳 法 .& 三 1 阶 时 式 (6. 55) 显 然 成 立 , 下 面 看 从 k 阶 的 结论 如 何 推 
到 上 十 1 阶 . 
考虑 定义 在 点 ze, ,ziyzeyzerl 上 的 & 十 1 阶 差 商 的 计算 ,根据 定义 它 通过 两 个 阶 
差 商 fLzo 9 9 The—1 ,Tp+1 和 Flas i ze 来 守 算 ; 若 有 & 阶 差 商 满足 式 (6. 55) , 则 
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& 十 1 


5 
7Lzo ,Tes Xi 一 2 Ee ， (06. 56) 
和 Hs — 7) 
Pp 
k 
flzxo,*% xt] = >) = Ci (6.57) 
人 Lit = 
1=0 
lj 
再 看 fLxo ,… ,rr+1j ,由 它 的 定义 得 
fm sam] = Les) fr, (6. 58) 
Tl Tk -ThH Xk 


其 结果 可 看 成 是 f(x;),j 二 0,…,k 十 1 的 线性 组 合 ,我 们 先 看 f(xj),j 二 0,…,k 一 1 对 应 的 
组 合 系数 ,将 式 (6.56)、 式 (6.57) 代 入 式 (6. 58) ,得 到 这 些 组 合 系数 为 


1 1 
k+l k 
[I 二 wy | i [I 《2 = | — 区) 
pr 二 
下 (万 一 Zi) 一 (Zi 一 ZHI) | 
i — Zz k+l k+l 
I = We 
l=0 l=0 
zj zj 
符合 要 证 明 的 目标 . 
再 看 结果 中 f(x ) 对 应 的 组 合 系数 ( 即 j 二 k 的 情况 ), 它 由 f[xo，… ,zj 贡献 ; 
1 一 1 1 
k 并 = tl 
三 二 “ 中 (Cy — ry 
l=0 l=0 
lk lk 


同 理 ,可 求 出 f(xx+1) 对 应 的 组 合 系数 为 


] 
k+l 全 
[I 《HT 一 六 
l=0 
(天 盾 1 


它们 都 符合 要 证 明 的 公式 的 形式 , 即 


k+l1 
Ke; 
fLzo ,** ,xi = 3 
j=0 本 (zi = 
l=0 


[ea 
由 于 十 1 阶 差 商 满足 方程 (6.55) 的 表达 式 , 再 根据 数学 归纳 法 原理 , 原 命 题 得 证 . 图 
由 于 式 (6.55) 等 号 右边 的 值 与 自 变量 的 顺序 无 关 , 所 以 可 证 明 差 商 的 对 称 性 . 
定理 6.9( 差 商 的 对 称 性 ): 差 商 的 值 与 其 中 自 变量 的 顺序 无 关 , 即 
fLzxo Pe ， Te 一 flzi » Xo» TX2 | 一 一 flLxs empy do |. 
根据 差 商 的 对 称 性 ,以 及 差 商 的 定义 式 (6. 54) ,得 到 计算 差 商 的 重要 公式 : 
FLzo，… zi] 一 fess rd feo sxe] (6. 59) 


de 
更 一 般 地 ,计算 & 十 1 个 节点 的 & 阶 差 商 时 ,只 需 从 这 k& 十 1 个 节点 中 任 选 个 得 到 两 个 不 同 
的 & 一 1 阶 差 商 ,再 类 似 于 公式 (6. 59) 进 行 计算 即 可 . 
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在 实际 计算 差 商 时 ,通常 按 阶 次 从 低 到 高 依次 计算 ,并 且 根 据 公式 (6. 59) 可 列 出 差 商 表 
计算 ,如 表 6-9 所 示 . 


表 6-9 利用 差 商 表 的 形式 计算 各 阶 差 商 


Zk fx) 1 阶 差 商 2 阶 差 商 3 阶 差 商 4 阶 差 商 

1 Fn flzo ,zl] 

Za flxz) flzi ,zz] FLz ,x1 ,x2] 

Zs flzs) [za ,zs] flz1 ,x2 373] flzo yz1 ,x2 sx3] 

2 za) flzs zi] flzz ,zs ,74] flziyzas ras] | flzro, zs: ,zs ,4] 


在 差 商 表 中 ,每 一 个 表 项 都 根据 紧邻 的 左 侧 表 项 和 左上 方 表 项 计算 而 得 , 按 从 上 至 下 的 
顺序 逐 行 计算 . 
基于 差 商 的 概念 和 定理 6.9, 下 面 看 看 如 何 计算 牛顿 插值 中 的 参数 w. 首先 ,0 二 f(z) 二 
Lzxoj ,为 0 阶 差 商 . 而 
Pi(z) = FLzo] 十 caCz 一 zo)， 
将 Pi (zi)=FCz) 代 和 人 式 (6.59) 可 求 cl ,得 
FLz]= FLzo] 二 cz 一 zo) 之 ci 一 FLzoyzi]. 
这 说 明 ci 为 1 阶 差 商 . 
采用 同样 的 推导 ,可 得 出 c =Lzo,zi'zz], 更 一 般 地 , 易 证 明 
ct = fLxo,*%* ,ze], (6. 60) 
即 牛 顿 插值 系数 就 是 差 商 表 6-9 中 那些 有 下 划 线 的 元 素 . 由 此 得 到 了 nn 次 牛顿 插值 多 
项 式 : 
N, Cz) = flzojt flrosnjd rm) fir zr— ro)(r— rx). (6.61) 
上 述 推 导 过 程 即 表明 NN, (xz) 满足 在 点 zo ,x ,zw 上 给 定 的 插值 要 求 . 
例 6.10( 牛 顿 插值 与 拉 格 朗 日 插值 的 计算 ): 设 有 三 个 数据 点 (一 2, 一 27),(0, 一 1)， 
(1,0) ,分 别 采用 牛顿 插值 法 与 拉 格 朗 日 插值 法 求 二 次 插值 多 项 式 . 
【 解 】 首先 做 牛顿 插值 , 列 差 商 表 如 表 6-10 所 示 . 


表 6-10” 列 差 商 表 
1 阶 差 商 2 阶 差 商 


因此 写 出 牛顿 插值 多 项 式 为 
Ns (zx) =—27+13(zx 
再 用 拉 格 朗 日 公式 进行 推导 ， 
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Sa | iy ec 于 
(7Z) = 27X 二 7 文 一 2 一 1 于 - 交 3x 1) 本 5 
上 述 计 算 表明 两 种 插值 方法 得 到 的 结果 完全 相同 . 国 


2. 牛顿 插值 余 项 公式 
根据 牛顿 插值 公式 ,还 可 推出 多 项 式 插值 余 项 的 另 一 种 形式 . 设 XE[La,6b], 且 xz; 
(i 二 0,…,n). 根据 差 商 定义 及 式 (6. 59) ,依次 列 出 如 下 相 邻 阶 差 商 满足 的 关系 式 : 
fw) = Fo) flanmo d= ms 
Hx] = A + fm (ss 
flLzxszoszi = flros rym d+ fliyiroriis ts](z— zs)s 


JLzyzo zl] 一 FLzo yz 十 FLzyrzozo] (x x,). 
将 上 述 方程 从 后 往 前 逐个 代入 ,得 
fx) 一 太 zo) 十 FLzoyzj](z 一 Zoo) 十 FLzoyzyzj](z 一 zo)(z 一 Zi) 十 … 
十 FLzoywyz] (并 一 如 ) (i zi) 二 fxryxos ,r(x— xo) (ro zx) 
=N,(z} frm |(r— zr) CO— 

根据 插值 多 项 式 的 存在 唯一 性 (定理 6.6) 可 知 ,对 相同 的 "十 1 个 插值 节点 ,应 有 工 , (x) 王 

N(x) ,因此 得 到 多 项 式 插值 余 项 的 另 一 种 形式 : 
RAzYe Firm ls = m= Hm Nin tr) R60.62) 

称 其 为 牛顿 插值 余 项 公式 . 

对 比方 程 (6. 45) 和 方程 (6. 62) ,得 


"(ntl1) 
FLzyzo，……zn] = 一 到 一 ， EE (a,.b). 
由 之 的 任意 性 ,还 可 推论 出 
ee 全 得 ， (6. 63) 


其 中 ,zx; ELa,0j,&E (a,0), 且 依 赖 于 xo,… ,x 的 取 值 . 公式 (6. 63) 也 是 差 商 的 一 条 重要 性 质 . 

关于 牛顿 插值 余 项 ,说 明 两 点 . 

(1) 当 函 数 f(z) 不 够 光滑 ,fi? (xz) 不 存在 时 ,或 f(z) 本身 的 表达 式 未 知 时 , 拉 格 朗 
日 余 项 公式 无 意义 ,而 此 时 用 牛顿 插值 余 项 公式 来 估计 误差 是 一 个 可 能 的 选择 . 

(2) 牛顿 插值 余 项 的 一 个 较 实际 的 应 用 是 ,根据 差 商 大 小 判断 插值 阶 数 & 是否 合适 ( 若 
更 高 阶 差 商 法 0) ,从 而 自动 选 一 个 不 太 大 的 阶 数 ,同时 保证 较 高 精度 . 

例 6.11( 牛 顿 插值 余 项 ): 表 6-11 中 给 出 一 些 离散 点 上 的 f(x) 函 数值 , 求 合适 阶 数 的 
牛顿 插值 多 项 式 , 由 它 计 算 f(0.596) 的 近似 值 ,并 估计 误差 . 


表 6-11 一 些 离散 点 上 的 /(x) 的 函数 值 


4 阶 差 商 5 阶 差 商 


1.116 00 


1.186 00 


0.280 00 
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f (xi) 1 阶 差 商 2 阶 差 商 3 阶 差 商 


0.80 | 0. 888 11 | 1..27573 0.358 93 0;197 33 


4 阶 差 商 5 阶 差 商 


0.031 34 | 


| 1.026 52 | 1.38410 0.433 48 0.213 00 


1.253 82 “St 0.524 93 0.228 63 0.031 26 一 0.000 12 


【 解 】 按 差 商 计算 表 的 形式 将 各 阶 差 商 填 人 表 中 . 从 中 看 到 4 阶 差 商 近似 常数 ,5 阶 差 
商 的 值 非常 接近 0. 故 取 4 次 捅 值 多 项 式 N, (x) 做 近似 ,得 到 
Nal(x) 一 0.41075 十 1.116(z 一 0.4) 十 0.28(z 一 0.4)(z 一 0.55) 


二 人 14197933 二 人 4 人 (二 人 55 未 三 人 6059 
0.03134(%2—0.4N(z—0.55) (0.65)(z— 0.8)s 


于 是 
f(0.596) 2 Ni(0.596) = 0. 631 92. 
对 它 估计 截断 误差 ， 
| RiCx) | 天 | FLzo，…yzs]os(0.596) |< 3.63 X107. 
这 说 明 截 断 误差 很 小 ,可 忽略 不 计 . 图 


在 这 个 例子 中 ,被 插值 函数 是 以 表格 的 形式 给 出 的 ,因此 无 法 根据 拉 格 朗 日 插值 余 项 估 
计 多 项 式 插值 的 误差 . 而 由 于 f(z) 未 知 ,牛顿 插值 余 项 实际 上 也 不 能 计算 出 来 ,但 可 以 进行 
大 概 的 估计 . 有 两 种 策略 估计 牛顿 插值 余 项 . 

(1) 设 Ns (xz) 是 准确 值 , 则 Ns (xz) 的 误差 为 

Ns(x)— Ni(z) = flzoy msgs I(x— 0) (2— 0) (rz— (zm 7) 一双) 

此 时 若 f[Lxo ,… ,zs ] 守 0, 则 说 明 误 差 很 小 ,可 根据 它 选择 插值 的 阶 次 . 

(2) 先 根据 NGCz) 算 出 f(z) 的 近似 值 ,再 由 它 算 f[z,zo，… ,zsj, 从 而 得 到 余 项 估计 . 

这 两 种 策略 都 有 一 定 的 合理 性 ,但 结果 可 能 差别 很 大 . 例题 6. 11 采用 的 是 策略 (1) , 若 
采用 策略 (2), 则 得 到 不 同 的 结果 . 

在 本 他 的 最 后 , 列 出 根据 2 十 1 个 插值 条 件 f(x) 二 yk 二 0,1,…,n), 求 插值 多 项 式 的 
三 种 方法 ,然后 进行 比较 . 

(1) 待定 系数 法 . 假设 插值 函数 为 总 (z) 王 ao 十 az 十 … 十 aoz" ,通过 求解 nn 十 1 阶 线性 
方程 组 得 到 待定 参数 的 值 . 

(2) 拉 格 朗 日 插值 法 . 直接 写 出 多 项 式 公 式 : 


Lx = > Way, 
k=0 


(3) 牛顿 插值 法 . 先 计算 差 商 ,然后 写 出 插值 公式 : 

N, (x) =f(z0) + flzo sx (zx— xo) flzo sxiy zs (zx— zo) (zrC— Zz) 十 … 
十 FLzo s,s x (XO To0) (Xo re ). 

由 于 多 项 式 插值 的 唯一 性 ,这 三 种 方法 得 到 的 结果 是 相同 的 多 项 式 , 但 结果 的 形式 与 求 
解 过 程 不 同 . 以 在 多 项 式 函 数 空间 PP, 中 求 某 个 特定 元 素 的 角度 看 ,一旦 选 定 了 线性 空间 的 基 
函数 , 求 插值 函数 的 问题 就 转化 为 求解 与 基 范 数 匹 配 的 一 组 线性 组 合 系数 . 待定 系数 法 使 用 
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最 简单 的 单项 式 函 数 基 ({x*) ,而 后 两 种 方法 使 用 了 不 同 的 基 畏 数 . 待定 系数 法 构造 出 的 系数 
和 矩 阵 为 范 德 蒙 矩阵 ,在 n 较 大 时 是 病态 矩阵 ,因此 不 但 求解 过 程 计算 量 大 ,而 且 计 算 误差 大 ; 
拉 格 朗 日 插值 法 得 到 的 系数 矩阵 为 单位 阵 , 因 此 没有 求解 线性 方程 组 的 计算 量 ,但 利用 插值 
多 项 式 求 未 知 点 处 函数 值 时 计算 较 复 杂 ; 牛 顿 插值 法 的 基 苑 数 使 得 系数 矩阵 为 下 三 角 和 矩 阵 ， 
因此 待定 参数 可 按 顺 序 依 次 求 出 (不 需要 高 斯 消去 过 程 ) , 它 还 具有 便于 动态 增 \ 减 插值 节点 
的 优点 . 感 兴趣 的 读者 可 进行 详细 分 析 , 比较 拉 格 朗 日 插值 和 牛顿 插值 在 计算 未 知 点 处 函数 
值 时 计算 量 有 何 区 别 . 


6.6 分 段 多 项 式 插值 


本 节 首 先 分 析 高 次 多 项 式 插值 的 缺点 ,然后 介绍 分 段 线 性 插值 .分 段 埃 尔 米 特 插值 和 保 
形 分 段 插值 三 种 分 段 多 项 式 插值 . 


6.6.1 高 次 多 项 式 插值 的 病态 性 质 


上 两 节 介 绍 的 多 项 式 插值 通过 构造 单个 多 项 式 , 满 足 所 有 的 插值 要 求 ,得 到 的 插值 函数 
光滑 性 好 ,易于 进行 理论 分 析 . 当 插 值 节点 较 多 时 ,构造 出 高 次 多 项 式 插 值 ,往往 有 如 下 三 方 
1. 收敛 性 差 
若 不 假 思 索 , 人 们 可 能 认为 插值 多 项 式 的 次 数 n 越 高 ,其 允 近 f(x) 的 准确 度 就 越 好 ,但 
实际 上 并 非 如 此 . 1901 年 ,德国 数学 家 龙 格 (Runge) 发 现 了 一 个 问题 ,他 给 出 一 个 函数 ( 称 为 
龙 格 函数 ) 
1 


f(x) = 1 rE€[—5,5], 
在 [一 5,5] 上 取 "十 1 个 等 距 插 值 节点 : zi 二 一 5 十 10k/n(k 二 0,…,n) ,做 等 距 节点 的 拉 格 朗 
日 插值 
y= SL ye 
L, (x) = 过 TT 


通过 观察 与 严格 证 明 , 龙 格 发 现 了 如 下 现象 : 
= f(zx), |z|<e 
不 收 剑 ， |z | 之 c 
其 中 常数 cs*3. 63. 也 就 是 说 ,对 某 些 z 取 值 ,L, (x) 并 不 随 着 n 的 增加 收敛 到 f(x). 这 种 现象 
称 为 龙 格 现象 . 当然 , 当 工 的 值 为 插值 节点 时 ,一 定 有 L(x) 二 f(x) ,但 对 于 不 是 搬 值 节点 的 Z， 
两 者 之 差 可 能 很 大 ,误差 不 会 收敛 到 0. 图 6-12 显示 了 龙 格 函数 ,以 及 相应 的 5 阶 .10 阶 拉 格 
朗 日 插值 函数 L(x) 、Lio 《xz). 从 中 看 出 ,在 靠近 区 间 两 端 处 插值 多 项 式 的 误差 非常 大 . 

事实 上 ,对 很 多 其 他 函数 进行 等 距 节点 多 项 式 插值 都 存在 类 似 的 不 收敛 现象 . 当然 ,如 
果 可 以 自由 选择 持 值 节点 (如 切 比 雪 夫 点 ), 像 本 书后 面 介 绍 的 数值 积分 或 求解 微分 方程 ,还 
是 可 能 保证 高 次 插值 收敛 性 的 . 此 外 ,6. 1.2 节 介 绍 了 伯 恩 斯 坦 多 项 式 B,(f,x) 可 任意 地 荧 
近 f(x) ,应 注意 它 与 多 项 式 插 值 函数 L, (x) 是 不 同 的 . L, (xz) 在 nn 十 1 个 插值 节点 处 与 
f(x) 有 相同 函数 值 ,但 当 n 一 吕 2 时 未 必 收 敛 到 f(z);B,(f ,zx) 并 不 在 一 些 点 上 与 /(x) 取 值 

% 2 


limL, (x) 
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图 6-12 等 矩 节点 插值 的 Runge 现象 


相同 ,但 当 >co 时 一 致 收敛 到 f(x) ,虽然 收敛 速度 很 慢 . 

2. 保 凸 性 差 

实际 应 用 中 遇 到 的 一 些 曲线 的 凸 性 是 确定 的 ,比如 飞机 机 辟 等 的 几何 造型 问题 . 若 根 据 
多 个 插值 点 构造 高 次 多 项 式 插值 ,得 到 的 曲线 往往 有 许多 不 该 有 的 多 余 拐 点 (曲线 的 起 伏 )， 
违背 了 原 有 曲线 的 凸 性 要 求 . 图 6-12 也 能 反映 这 一 点 . 

3. 数值 稳定 性 差 

6.4.2 节 的 分 析 表 明 ,多 项 式 插值 问题 在 数学 上 等 价 于 线性 方程 组 求解 问题 ,由 于 高 阶 
范 德 蒙 矩阵 是 病态 的 , 求 插值 多 项 式 系数 的 问题 也 是 病态 的 2. 它 意味 着 , 较 小 的 输入 数据 
扰动 将 导致 较 大 的 结果 误差 . 即便 采用 拉 格 朗 日 插值 法 ,确定 基 吨 数组 合 系数 是 良 态 问题 
(直接 等 于 函数 值 ) ,但 其 计算 具体 一 点 函数 值 的 公式 是 不 稳定 的 ,只 要 某 一 个 插值 节点 函数 
值 有 误差 ,将 影响 到 整个 区 间 插 值 函数 的 计算 值 . 


6.6.2 分 段 线性 插值 


从 图 6-12 看 出 ,如 果 将 Lio(x) 对 应 的 插值 数据 点 依次 连 起 来 ,得 到 的 折线 显然 比 Lio (x) 
更 能 双 近 f(x). 这 种 折线 对 应 的 函数 就 是 分 段 线 性 插值 函数 ,本 节 讨 论 与 它 有 关 的 问题 . 

设 已 知 实 函数 f(x) 在 插值 节点 x; 上 的 函数 值 为 f;(i 二 0,1,…,n), 这 里 不 妨 设 < 一 
To 过 如 过 … 过 zx, 二 0. 根据 这 些 插值 数据 点 构造 出 的 分 段 线性 插值 函数 (piecewise-linear 
interpolating function) T(x) 在 小 区 间 [zx; yz 上 的 值 为 


1, (xz) = 一 中 二 = fi ， XIELz,zxmj. 


i tt 
由 此 可 得 到 1; (xz) 的 分 段 函 数 表 示 形 式 . 在 整个 区 间 [a,5] 上 ,T(zx) 也 可 表示 为 如 下 基 孙 数 
的 线性 组 合 形式 : 


I = BD UC) 
j=0 


1， k=j 
其 中 , 基 丽 数 5Cz) 满 中 条件 5Cze) 一 | 4 过 ,其 具体 公式 如 下 ， 
» 1 


”对 于 插值 问题 ,这 里 将 问题 的 病态 性 与 算法 的 稳定 性 一 起 加 以 考虑 . 
“ 220. 2 
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莹 一 Xx 二 zz 二 局 = 0 时 略 去 此 项 ) 


Ti 

lj; (7X) = ep ， 丸 之 x 之 zn(j 一 交 时 略 去 此 项 ) (6. 64) 
Ti Tt 
05 二 后 [ap ¥ [os ,Tit1 


图 6-13 显示 了 基 函 数 l,(zx) 与 4 (zx),(j 关 0,n) 的 示意 图 ,lL, (x) 的 图 形 与 l,(x) 的 类 似 . 
显然 ,分 段 线性 插值 函数 I (zx) 及 其 基 函 数 有 如 下 性 质 . 

(LY T(z) ECLasD. 

(2) Li (zi)= fi (k=0,1,.,n). 

(3) I; (xz) 在 每 个 小 区 间 [xi ,xit1] 上 是 一 次 多 项 式 . 

(4) 分 段 线性 插值 的 基 函 数 (zx) 只 在 zs 附近 不 为 零 ,在 其 他 地 方 均 为 零 , 具 有 局 部 非 
零 性 质 . 


洒 沁 
i 
1F- 3/0(%) 1 \ L(x) 
1 
| 区 RE 生 ， 
(a) lo(x) (b) L(x) 


图 6-13 分 段 线 性 插值 的 基 函 数 


因为 在 每 个 小 区 间 内 ,分 段 线性 插值 的 误差 为 一 次 多 项 式 插值 的 余 项 ( 拉 格 朗 日 插值 余 
项 公式 ) ,因此 可 得 到 分 段 线性 插值 的 误差 估计 式 . 对 Ye€ Lz ,zrij]， 


1 f(D 一 ho) < 学 max | (zx—x)(r— zn) |< Ms, 


元 所 < 人 8 
其 中 ,M: 一 max|f (z) | ,hh 二 max(xati 一 Xx). 进一步 可 得 出 如 下 定理 , 它 说 明了 分 段 线 性 插 
值 具有 收敛 性 . 
定理 6.10: 设 实 连续 函数 /(x)E€ CLa,b] 的 分 段 线 性 插值 函数 为 I; (x) ,插值 节点 为 
aa 一 Zo<Z<…<z 一 0 并 令 A 一 max(zerl 一 zt) , 则 有 
liml, (zx) = f(x), Vx € La,b]. 


6.6.3 分 段 埃 尔 米 特 插值 


分 段 线性 插值 克服 了 高 次 多 项 式 插值 的 诸多 缺点 ,但 它 的 导 函 数 在 整体 上 是 不 连续 的 . 
为 了 提高 曲线 整体 的 光滑 性 ,可 将 分 段 线性 插值 加 以 扩展 ,这 需要 引入 另 一 种 插值 问题 ; 埃 
尔 米 特 插值 (Hermite interpolation). 在 之 前 讨论 的 插值 问题 中 ,插值 条 件 都 是 节点 上 的 函 
数值 ,如 果 增 加 对 导数 ,甚至 高 阶 导数 的 插值 要 求 , 则 得 到 的 插值 多 项 式 称 为 埃 尔 米 特 插值 
多 项 式 . 下 面 先 讨论 插值 要 求 中 函数 值 与 导数 值 个 数 相等 的 埃 尔 米 特 插值 ,然后 讨论 分 段 埃 
Wi 

埃 尔 米 特 插值 
人 we 设 在 插值 节点 x;(i 二 0,1,…,n) 上 ， 
。 22] 。 
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已 知 f(x)==fi, 了 (xi) 二 (i 二 0,1,…,n) ,要求 插值 多 项 式 五 (z) 满 足 
H(i = fs Hm) Fs C= 0m (6. 65) 
这 个 问题 属于 广义 的 多 项 式 插值 问题 ,可 看 成 是 定义 6.6 的 扩展 . 
方程 (6.65) 给 出 了 2n 十 2 个 条 件 , 可 唯一 确定 一 个 次 数 不 超 过 2n 十 1 的 多 项 式 , 记 为 
及 .+1(X). 这 个 存在 性 与 唯一 性 的 证 明 类 似 于 定理 6.6 的 证 明 , 详 细 过 程 留 给 读者 思考 . 插 
值 函数 瓦 w+i(Cz) 的 几何 意义 是 ,函数 曲线 不 但 通过 已 知 的 离散 点 ,而 且 在 这 些 地 方 与 被 插 
值 函数 曲线 有 相同 的 斜率 . 
要 推导 有 ,+1(x) 的 表达 式 , 除 了 通过 列 线性 方程 组 求解 多 项 式 系数 ,也 可 类 似 于 拉 格 
朗 日 插值 进行 推导 . 不同 之 处 在 于 , 埃 尔 米 特 揪 值 应 有 两 种 插值 基 函 数 : w(z) 与 BCz), 它 
们 分 别 支持 f; 与 ;的 插值 要 求 , 即 
Hn (x) = DLfiai(z) + fpi(z)]. (6. 66) 
省 略 复杂 的 推导 过 程 ,直接 给 出 两 种 插值 基 函 数 的 公式 
ulz) = [1=2(s— wl(z) EC) 
人 = (x— Xr) L(x) ” 
其 中 心 (Cz) 为 拉 格 朗 日 插值 基 函 数 . 不 难 验证 ,公式 (6. 67) 中 的 函数 a;(z) 仅 当 zxz=x; 时 值 
为 1, 对 其 他 插值 节点 的 函数 值 以 及 所 有 插值 节点 上 的 导数 值 均 为 零 , 而 友 (z) 仅 当 > 二 忆 
时 导数 值 为 1, 在 其 他 插值 节点 上 的 导数 值 以 及 所 有 插值 节点 上 的 函数 值 均 为 零 . 因此 ， 
式 (6. 66) 是 满足 要 求 的 2n 十 1 次 埃 尔 米 特 插值 多 项 式 . 
进一步 详细 讨论 ,可 得 埃 尔 米 特 插值 余 项 公式 为 (参见 文献 [8]) 


i 3) 2 
Td 


(i = 0,.,n). (6.67) 


Rn (x) = f(x)— Hn (x) = 


其 中 ,EE Co,o), 且 依赖 于 >. 
除了 插值 要 求 中 函数 值 与 导数 值 个 数 相等 的 情况 ,对 更 一 般 的 情况 往往 可 用 待定 参数 
法 构造 出 相应 的 埃 尔 米 特 搬 值 多 项 式 ,下面 通 过 一 个 例子 加 以 说 明 . 
例 6. 12 (特殊 埃 尔 米 特 多 项 式 的 构造 ): 已 知 函数 f(x) 充分 光滑 , 求 满足 插值 条 件 
P(xzi) 二 f(xi) (i 二 0,1,2) 及 P' (xi) 二 了 (x1) 的 插值 多 项 式 P(z) 及 其 余 项 公式 . 
【 解 】 由 给 定 条 件 ,可 确定 次 数 不 超 过 3 的 插值 多 项 式 . 由 于 此 多 项 式 通 过 点 
《zosfCzo))、(zi ,f(z1))、(zs，f(xs)), 利 用 牛顿 插值 多 项 式 的 构造 思路 假设 其 公式 为 
Pay = (m7) fom R=) | 
fs tp 
其 中 ,A 为 待定 常数 . 接 下 来 ,由 条 件 P'(zi) 二 了 (zi) 确定 A 的 值 ,可 得 
六 二 f (zx) 一 FLzo,zi] 一 (zl 一 zo)FLzoyziyzs] 
(而 一 “ 
为 了 求 出 余 项 R(x)== f(x) 一 P(x) 的 表达 式 , 可 设 
RCz) = f(2)— P(z) = ECL (FT— TON(T— A (Es 
其 中 ,k(x) 为 待定 函数 . 构造 
SY = f= ROD — Ee z(t (=) 
显然 g(xzi) 二 0,(j 二 0,1,2). 且 yg (x1) 二 0,g(x) 二 0, 故 yg() 在 (a,06) 内 有 5 个 零点 (zi 为 二 
= 222 > 
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重 零点 ). 反复 应 用 罗 尔 定理 ,得 ge (W) 在 (a,5) 内 至 少 有 一 个 零点 6, 故 
899 (9 = Fo (9 一 4IACz) 一 0， 
于 是 
1 ru 
AR(Z) = 厂矿 XE) 
余 项 公式 


R(x) = 天 1 (6) ( 工 一 zo)(z 一 21)2(7 一 zz)， 
式 中 & 位 于 xo zi 与 za 所 界定 的 范围 内 . 国 
2. 分 段 三 次 埃 尔 米 特 插值 
考虑 埃 尔 米 特 插值 式 (6. 66) 的 最 简单 情况 , 即 n==1 的 情况 ,此 时 两 个 插值 点 确定 一 


三 次 多 项 式 , 其 公式 称 为 两 点 三 次 埃 尔 米 特 插值 多 项 式 . 对 于 公式 (6.67) 中 的 2) 是 由 
A 一 一 


因此 ,假设 插值 节点 为 x zeri, 根 据 公 式 (6.66)、 公 式 (6.67) 可 得 到 三 次 埃 尔 米 特 插值 多 项 
式 HH (zx) 
Hs (x) = fiar (7) 十 Jar GZz) 十 fiBi (7x) 十 firBen 《205 


其 中 
六 二 Ee 
ae) 一 @ 让 ge 一 ) ” 
pe 2 
a (x) = (Uo ee ) ， 
a Gs 加 (6. 68) 
大 一 i 
Bz) = Cs ; 
TX Tk - 
B(x) = (x = 了。 
对 于 一 般 的 含有 十 1 个 插值 节点 的 问题 ,车 插值 条 件 中 还 包括 每 个 节点 上 的 导数 值 ， 
而 则 可 将 分 段 插值 的 思想 与 两 点 三 次 埃 尔 米 特 插 值 结合 ,在 每 
Hlx) 个 相 邻 节点 构成 的 小 区 间 上 构造 三 次 多 项 式 , 得 到 的 插值 曲 
线 将 比分 段 线 性 插值 有 更 好 的 光滑 性 . 设 通过 这 种 方式 构造 
0 的 分 段 三 次 埃 尔 米 特 插值 多 项 式 为 Hi (zx) , 它 满足 插值 条 件 : 
9| 记 H(i)=fi,Hi(zi)==f1 ,==0,…,n), 可 以 证 明 , HH (x) 在 


图 6-14 分 段 Hermite 插值 整体 上 1 阶 导 数 连续 ,这 是 因为 在 插值 节点 上 ,Hi (x 一 0) 二 


1 阶 导数 连续 ft 二 Hi(xx 十 0), 即 左右 导数 相等 ( 见 图 6-14). 
在 小 区 间 [ zx ;Xpt1 ] 上 HH;(zx) 的 值 为 
H, (x) = HY (x) = fas C7) + fundn (zx) + B(x) + finfulz), 
这 里 用 a (x) ,Bi (x) 表示 公式 (6. 68) 中 的 两 点 三 次 埃 尔 米 特 插值 基 函 数 a (zx) 、B (zx), 而 


再 名 C3 ) 为 小 区 间 [x ,Ts+1] 上 的 三 次 埃 尔 米 特 插值 多 项 式 . 
类 似 于 分 段 线性 插值 ,也 可 以 在 整个 [a,b] 区 间 上 将 Hi (z) 表 示 成 一 组 插值 基 葡 数 的 


。 223 。 
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线性 组 合 形式 
Hi; (zx) = SE Aaytz) FB Ce) 1: 
由 于 最 多 在 两 个 小 区 间 上 Hi (x) 的 表达 式 会 用 到 fj; ,所 以 整体 基 范 数 a; (zx) 的 表达 式 为 分 
段 函数 
HY?(zx) 中 的 &j(x)， zx ELzxi,zx;j] 
xz) 二 4H9 (zx) 中 的 G(xz)， zeE[Lzyzn] 
05 其 他 


(1+2 二 一)( 汪 2 ) ，ze [zzm]G = 0 时 略 去 此 项 ) 


oj (Z) ( -2_2 i ) (2 2 ，xzE [zyzhH]G = 二 n 时 略 去 此 项 ) 


ye 二 
0， 其 他 
同 理 ,可 推出 8 (zx) 的 表达 式 , 即 
和 2 
(z—z) (Et ) ，xzeE [zyz]G = 0 时 略 去 此 项 ) 
Xi XTi-l 
A es 2 
BB | ) (2 ，ze [mvan]G = 时 略 去 此 项 ) 
i Titl 
0， 其 他 


图 6-15 显示 了 分 段 三 次 埃 尔 米 特 插值 的 整体 基 函 数 a;(x) 和 B(x) 的 图 形 . 根据 公式 
和 图 形 可 看 出 ,这 些 基 函数 具有 局 部 非 零 性 质 . 类 似 于 定理 6. 10, 也 可 以 证 明 分 段 三 次 埃 尔 
米 特 插值 具有 收敛 性 ( 当 插 值 间 距 趋 于 0 时 ). 


Oi(x ) 


1 


1 1 
Nil V1 - Xl 


一 一 一 一 一 一 一 


Xl 


图 6-15 分 段 三 次 埃 尔 米 特 插值 的 整体 基 函 数 aj (x) 和 B(xz),j 了 0,n 


6.6.4 保 形 分 段 插值 


6. 6.3 节 介 绍 的 分 段 三 次 埃 尔 米 特 插值 具有 整体 1 阶 导 数 连 续 的 性 质 , 但 它 要 求 已 知 
插值 节点 上 的 导数 值 ,这 在 实际 问题 中 常常 无 法 办 到 .一 种 弥补 的 办 法 是 根据 已 知 的 函数 值 
设 定 插值 节点 处 的 导数 值 ,从 而 构造 出 分 段 三 次 埃 尔 米 特 插值 ,这样 得 到 的 插值 又 有 一 个 独 
特 的 名 字 , 称 为 保 形 分 段 插值 (shape-preserving piecewise interpolation). 

这 里 的 关键 是 如 何 设 定 插值 点 x 处 的 1 阶 导 数值 fi ,其 几何 含义 是 被 插值 函数 曲线 
在 该 处 的 斜率 .在 保 形 分 段 插 值 法 中 ,插值 点 处 斜率 的 设置 应 使 插值 函数 在 局 部 不 过 多 地 偏 
离 给 定 的 插值 数据 点 ,因此 可 利用 当前 点 左右 两 侧 的 1 阶 差 商 (数据 点 连 线 的 斜率 ) : 
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一 人) 和 Fen (a 


di = 天 5 ,Xi 二 ES 
Te Tel Trl Tk 


然后 按 如 下 规则 设 定 插值 点 处 的 1 阶 导 数值 . 

(1) 车 di-1 和 di 的 正 负 号 相反 ,或 者 它们 中 有 一 个 为 零 , 那 么 在 x 处 函数 为 离散 的 极 
大 或 极 小 ,于 是 令 fi 二 0. 此 情况 示 于 图 6-16(a) 中 ,其 中 的 曲线 为 由 两 个 三 次 多 项 式 组 成 的 
保 形 插值 函数 , 它 在 中 间 连 接点 处 的 1 阶 导数 为 零 . 


Xl Xk Xtl 


(A=0 (b) #0 
图 6-16 保 形 分 段 插 值 中 函数 1 阶 导 数 的 设置 


(2) 若 di-1 和 di 的 正 负 号 相同 , 则 可 以 令 fi 为 两 侧 两 个 斜率 的 加 权 调 和 平均 数 , 而 权 
重 与 两 个 子 区 间 的 长 度 有 关 , 即 
Wl 二 We TO TO 


| = 十 本 (6. 69) 
Ek di di: 


其 中 Wi — (wi ep Tk) » Wh (Zh+1 (一 wp-i 记 此 情况 示 于 
图 6-16(b) 中 . 注意 , 若 两 个 子 区 间 长 度 相等 , 则 


A 

公式 (6. 69) 中 权重 wi 的 取 值 是 为 了 放大 较 短 区 间 上 的 斜率 ,使 得 插值 函数 曲线 较 合 
理 地 反映 插值 数据 的 变化 趋势 . 另外 ,对 于 整个 数据 区 间 的 两 个 端点 处 的 1 阶 导 数值 fo 和 
万, 需要 进行 稍微 不 同 的 单 侧 方向 的 分 析 , 具 体 细节 见 文 献 L7]. 

一 旦 按 上 述 策略 设 定 了 各 个 插值 点 处 的 1 阶 导 数值 ,就 可 根据 6. 6. 3 节 的 分 段 三 次 埃 
尔 米 特 插 值得 到 保 形 分 段 插 值 多 项 式 . 更 深入 的 分 析 表 明 , 保 形 分 段 插值 还 可 以 保持 原始 数 
据 的 单调 性 ,也 就 是 说 在 离散 数据 点 具有 单调 性 (递增 或 递减 ) 的 区 间 搬 值 函 数 也 有 同样 的 
单调 性 ,而 对 于 离散 数据 出 现 极 值 的 点 ,插值 函数 也 达到 极 值 . 保 形 分 段 插值 已 实现 于 
MATLAB 软件 中 ,函数 名 为 pchip. 

在 本 节 的 最 后 ,总 结 一 下 所 介绍 的 三 种 分 段 低 次 插值 ,它们 与 高 次 多 项 式 插值 相 比 , 具 
有 如 下 优点 . 

(1) 收敛 性 好 ,因此 避免 了 类 似 龙 格 现象 的 发 生 . 

(2) 保 凸 性 好 ,因为 只 使 用 了 较 低 次 数 的 多 项 式 ,因此 曲线 的 拐弯 比较 少 . 

(3) 稳定 性 好 ,分 段 低 次 插值 的 基 沪 数 都 具有 局 部 非 零 性 质 ,因此 车 节点 zx; 处 的 函数 
值 或 1 阶 导数 值 有 扰动 , 它 仅 影响 到 局 部 小 区 间 上 的 插值 函数 值 ,误差 不 会 传播 到 其 他 
部 分 . 
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6.7 样 条 插值 函数 


本 节 介 绍 样 条 插值 函数 , 它 也 属于 分 段 多 项 式 插值 ,但 比 前 面 介绍 的 几 种 插值 有 更 高 阶 
的 光滑 性 .“ 样 条 ”(spline) 一 词 源 自 早 期 工程 师 绘 图 所 用 的 薄 木 条 ,将 它 固定 在 一 些 给 定 的 
数据 点 上 ,可 绘 出 一 条 连接 各 点 的 光滑 曲线 . 从 物理 上 讲 , 样 条 满足 插值 点 约束 ,同时 使 势能 
达到 最 小 ,因此 对 应 的 曲线 必然 有 连续 的 2 阶 导 数 . 在 数学 上 ,这 就 是 应 用 广泛 的 三 次 样 条 
插值 函数 . 


6.7.1 三 次 样 条 插值 


首先 给 出 三 次 样 条 函数 、 三 次 样 条 插值 函数 的 定义 . 

定义 6.8: 设 a=zo<z<…<z 一 0, 若 函数 S(zx) 满 足 条 件 : 

(1) 2 阶 导 数 连续 , 即 S*(x)€ CLa,b]， 

(2) 在 每 个 小 区 间 [xi zt],(R 王 0,…, 2 一 1) 上 ,SCz) 为 三 次 多 项 式 , 则 称 SCz) 为 关 
于 节点 zo，… ,x 的 三 次 样 条 函数 . 若 给 定 fj; 三 f(zxj),(j 二 0,…,n), 且 三 次 样 条 函数 SCz) 
满足 SCzj) 三 fj,(J 二 0,… ,7n), 则 称 SCz) 为 jz) 的 三 次 样 条 插值 函数 ， 

定义 6. 8 中 的 三 次 样 条 函数 可 看 成 是 一 个 新 的 Sa 
函数 类 ,其 中 的 函数 由 分 段 三 次 多 项 式 “ 拼 接 ” 而 成 ， | 
并 且 具 有 整体 的 2 阶 光滑 性 . 事实 上 ,由 于 各 个 小 区 | | 
间 内 是 三 次 多 项 式 ,2 阶 导数 显然 连续 ,因此 整体 光 Yi Nl 


滑 性 的 要 求 主要 针对 节点 处 ( 见 图 6-17). 图 6-17 三 次 样 条 函数 SCz) 在 点 xz 
下 面 先 分 析 定 义 6.8 是 否 能 唯一 地 确定 三 次 样 两 侧 1 阶 、2 阶 导数 都 连续 


条 插值 函数 . 假设 共有 nn 十 1 个 插值 节点 zo 二 zi 二 … 过 
Za: 它们 形成 个 小 区 间 [zxj ,zj41j,(j 二 0,…,n 一 1). 每 个 小 区 间 为 三 次 多 项 式 , 则 表示 插 
值 函 数 SCz) 共 需 4n 个 系数 . 这 些 系 数 所 满足 的 条 件 有 以 下 两 种 . 
(1) 对 每 个 小 区 间 ,两 端 处 函数 值 都 知道 , 共 27n 个 条 件 , 它 们 也 保证 了 插值 函数 整体 上 
是 连续 的 . 
(2) 在 中 间 节 点 zj 处 1 阶 导数 连续 、2 阶 导数 连续 , 即 
S (zi 一 0) 一 S(z 十 0) 
SCz 一 0) = Sr 十 0)” 
它 对 应 2(" 一 1) 个 条 件 . 
因此 ,根据 上 述 条 件 一 共 可 列 出 4n 一 2 个 方程 ,无 法 唯一 确定 4n 个 系数 . 因此 在 实际 问题 
中 ,通常 在 数据 区 间 的 两 端点 处 增加 一 些 条 件 , 称 为 “边界 条 件 ”. 常用 的 有 以 下 4 种 边界 条 件 . 
(1) 已 知 两 端点 处 的 1 阶 导数 : S (zo) 一 方 ,SCzo) 一 户 . 
(2) 已 知 两 端点 处 的 2 阶 导数 : S"(zo)= ,SCz) 一 广 . 
(3) 周期 边界 条 件 : 假定 被 插值 函数 f(x) 是 以 x, 一 zxo 为 周期 的 周期 函数 (同时 要 求 
万 一刻 ) , 则 要 求 SCz) 也 是 相同 周期 的 2 阶 导数 连续 的 函数 , 即 
A 
S”(z0) = Sx,) 


(j= 1 ,nO—1), 
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(4) 非 结 点 (not-a-knot) 条 件 : 假定 区 间 [Lzu,zz] 上 使 用 统一 的 三 次 多 项 式 , 区 间 [z，，， 
zi] 上 使 用 统一 的 三 次 多 项 式 (z 之 3). 

易 知 上 述 4 种 边界 条 件 的 任何 一 个 都 带 来 两 个 方程 ,因此 使 求解 三 次 样 条 插值 时 的 方 
程 数 与 变量 数 匹配 . 对 于 第 二 种 边界 条 件 , 若 fo 二 f1 二 0, 通 常 称 之 为 自然 边界 条 件 .第 四 种 
边界 条 件 是 MATLAB 软件 中 spline 命令 所 采用 的 , 它 不 需要 额外 设置 参数 ,也 不 假设 被 插 
值 函 数 具 有 周期 性 . 

与 分 段 埃 尔 米 特 插值 类 似 , 当 f(z) 满足 一 定 光滑 性 条 件 时 ,三 次 样 条 插值 具有 很 好 的 
收敛 性 . 因此 ,三 次 样 条 插值 具备 前 面 介绍 的 分 段 低 次 插值 的 优点 ,而 且 比 它们 有 更 好 的 整 
体 光 滑 性 (2 阶 导数 连续 ). 


6.7.2 三 次 样 条 插值 函数 的 构造 


求 三 次 样 条 插值 函数 的 常用 方法 是 以 插值 节点 的 2 阶 导 数值 作为 参数 构造 每 个 小 区 间 
上 的 表达 式 , 然 后 利用 已 知 条 件 列 出 这 些 参 数 满足 的 线性 方程 组 并 求解 . 也 可 以 根据 插值 节 
点 的 1 阶 导数 值 构造 每 个 小 区 间 上 的 表达 式 , 然 后 列 线性 方程 组 求 这 些 待定 参数 值 . 下 面 详 
细 介 绍 前 一 种 方法 . 
设 S”(zj) 二 Mj;(j 二 0,…,n) ,由 于 在 各 小 区 间 上 S”(x) 为 一 次 多 项 式 , 则 
S”(z) Mi| = 2 )+ Mn ( 和 = ) 


= bl 


一 Ai (mh x EL[z,zrm] (j= 0,%,n— 1), 


h 
对 上 式 做 两 次 积分 得 


M; Mi 
SC(x) Gh ZiH)3 + Gh z po i (C65702 
其 中 ,hj 二 zjti 一 x). 再 根据 Ss)= S(zjt1) 三 fj+1 来 定常 数 aj ,0; ,得 到 
4 一 一 一 一 一 (6 713 
ji 
b= A Mn Mn, (6,72) 
h; 6 
将 式 (6.71)\ 式 (6.72) 代 入 式 (6.70), 并 整理 得 到 
ee M, (Si — 7) dR es 
站 6 (# 6 )( 万 ) 


t (fm (三 志 )， ZE[LzozH]， (=0,1,.%,n—1). 
C6 73 
在 上 述 构造 过 程 中 ,利用 SCzi) 三方 O=0,…,2) 的 条 件 , 而 设置 节点 处 2 阶 导 数 为 Mi 
(三 0,…,n) ,也 隐 含 了 SCz)2 阶 导数 连续 . 因此, 接 下 来 应 利用 节点 处 1 阶 导 数 连续 的 条 
件 以 及 边界 条 件 来 确定 M; 的 值 . 
对 式 (6.73) 求 1 阶 导数 ,得 
/ (本 着 二 区 大 ee Wia= 惹 
Sy = a 到 Fe- Le 
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Elimls (0m 1); 
考虑 节点 zx 处 的 左 导数 , 它 通 过 区 间 [xj-1 ,zj;] 上 的 函数 表达 式 计算 , 即 


Se 0 LN TM, 1 fa, (6.74) 
6 hj 
同 理 , 利 用 [zj ,zj+1] 上 的 函数 表达 式 计算 节 点 x; 处 的 右 导 数 
wd hi hi WW i 
S's +0 =——YM -Mm + LL. (6. 75) 


节点 处 1 阶 导 数 连续 的 条 件 意味 着 式 (6.74) 和 式 (6.75) 相 等 ,因此 得 到 方程 
wMit+2M; 十 NM = dj, (=1,%,n—1), (6.76) 

其 中 ,yw 一 万 2 i 车 ' 一 6 万- | 宝生 ) 证 所 ] 

注意 : 式 (6.76) 给 出 了 2 一 1 个 线性 方程 ,但 未 知 量 的 数目 是 2 十 1, 所 以 应 再 利用 边界 
条 件 . 由 于 最 终 得 到 的 联 立 线性 方程 组 的 未 知 量 为 位 移 的 2 阶 导数 ,在 力学 上 的 意义 为 “ 弯 
矩 ”, 并 且 每 个 方程 最 多 包含 三 个 “ 弯 矩 ?变量 ,所 以 求 参 数 Mj;(j 二 0,…,n) 的 方程 常 被 称 为 
三 这 和 琵 方程 

先 考 虑 已 知 两 端点 处 1 阶 导 数 的 第 一 种 边界 条 件 ,根据 条 件 S (xzo) 王 态 ,S (zx,)= ff， 
结合 式 (6.74) 和 式 (6.75) ,得 到 方程 


二 Ne 
Mo — RM, + 六 六 2M 十 M 一 天 人 号 A 有) (6.77) 


ho 
以 及 
Mr- +2M, = 天- of/—: 和 }: (6.78) 
结合 方程 (6.76) 一 方程 (6.78) ,可 得 到 完整 的 (2 十 1) 阶 线性 方程 组 

2 和 M, ds 

二 M, di 
i : |=|: (6.79) 

pr 2 Mr- | Ma di 

tm 2 M, d, 


其 中 ,%==p 一 1,4 一 站 (二 4 让 上 一). 还 注意 到 局 二 一 1 
(二 1,…,n 一 1), 因 此 三 弯 算 方程 (6.79) 的 系数 矩阵 为 按 行 严格 对 角 占 优 的 三 对 角 和 矩阵 , 必 
定 非 奇 异 , 可 采用 “追赶 法 ”( 算 法 3. 12) 有 效 地 求解 , 且 不 需要 选 主 元 . 

对 于 第 二 种 边界 条 件 , 即 已 知 Mo 二 f6,M 王 f%, 可 由 式 (6.76) 直 接 整 理 得 到 方程 


2 澳 M di—pfs 
Am 2 A M; d; 
ee ; |= : (6. 80) 
项 一色 3| | C 


jt “2, Ma 本 二 一 和 fn 
文 是 一 个 (2 一 1) 阶 的 线性 方程 组 ,系数 矩阵 对 角 占 优 , 仍 可 采用 “追赶 法 ”有 效 求解 . 
对 于 第 三 种 和 第 四 种 边界 条 件 ,可 类 似 地 建立 三 弯 矩 方程 .应 注意 的 是 这 些 情况 下 需求 
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解 的 线性 方程 组 系数 矩阵 都 为 严格 对 角 占 优 和 矩阵 ,因此 非 奇异 ,说 明了 给 定 边 界 条 件 后 三 次 
样 条 插值 函数 是 存在 并 且 唯 一 的 . 

求解 三 弯 矩 方程 得 到 节点 上 的 2 阶 导数 后 ,由 式 (6.73) 即 得 到 三 次 样 条 插值 函数 . 应当 
指出 ,上 述 构 造 三 次 样 条 插值 函数 的 方法 虽然 最 终 仍 要 求解 线性 方程 组 ,但 方程 组 的 阶 数 仅 
为 n, 而 且 可 采用 快速 “追赶 法 ”的 求解 ,因此 计算 量 比 直接 的 待定 系数 法 ( 含 阶 数 为 4n 的 笛 
密 和 矩阵 ) 要 小 得 多 . 以 第 一 种 边界 条 件 为 例 , 下 面 给 出 三 次 样 条 插值 算法 . 


算法 6.5: 用 满足 第 一 种 边界 条 件 的 三 次 样 条 插值 计算 函数 值 . 
输入 : OO je A T; 输出 : bs 

用 算法 3. 12 求解 线性 方程 组 (6. 79) ,得 到 Mo ,…,M, 的 值 ; 
判断 zz 所属 的 插值 节点 区 间 编 号 ，, 使 得 zELzi ,xin ]; 

利用 公式 (6.73) 求 SCz), 则 y :=S(z). 


作为 对 插值 方法 的 总 结 , 下 面 给 出 一 个 例子 ,将 不 同 插值 方法 得 到 的 结果 进行 比较 . 

例 6. 13( 几 种 插值 结果 的 对 比 ): 假设 有 6 个 插值 节点 xz; 二 i 十 1(i 二 0,1,…,5) ,对 应 的 
函数 值 为 f(xo)=16, f(xi1)=18, f(x:)=21, f(zxs)=17, f(z )=15,f(xs)==12. 我们 可 以 
比较 高 次 多 项 式 插值 分 段 线 性 插值 \ 保 形 分 段 插值 和 三 次 样 条 插值 的 结果 .借助 MATLAB 
软件 ,可 以 方便 地 画 出 插值 函数 曲线 的 图 形 , 如 图 6-18 所 示 . 相应 的 MATLAB 命令 如 下 : 


>>X= ls Valio L902 LT LS Ll Rie 0 5: 00056257 
>>p=polyfit (x,y,5); vl=polyval (p,xi); 
>>v2=interpl (x,y,xi, 'linear'); 

>>v3=interpl (x,y,xi, 'pchip'); 

>>v4=interpl (x,y, xi, 'spline'); 

SoUuDploGlo Zr TN DIO ln zd le 
>>SUbplot (27 Zr 2 PEoE (RY Op Ri V7 T= 0 
>>Subplot {2 27 3)7 pLotF(xiY OV RL Vor = "Ns 
>>BUuUbplot(2r 2 A DLIOE(RrY OV Ki VA =) 


其 中 ,三 次 样 条 插值 使 用 “ 非 结 点 "边界 条 件 , 因 此 无 须 提供 额外 参数 . 对 于 高 次 多 项 式 插值 
〈 拉 格 朗 日 插值 ), 这 里 通过 多 项 式 最 小 二 乘 拟 合 的 命令 polyfit 来 实现 , 当 多 项 式 系数 个 数 
与 拟 合 数 据点 数 相同 时 它 的 结果 就 是 高 次 的 插值 多 项 式 . 国 
从 图 6-18 看 出 ,三 次 样 条 插值 曲线 的 光滑 性 比 保 形 分 段 插值 好 ,而 后 者 相 比 前 者 更 能 
反映 离散 数据 点 的 变化 趋势 ,而 且 应 注意 保 形 分 段 插值 的 计算 比 三 次 样 条 插值 简便 . 因此 ， 
在 选择 插值 方法 时 ,还 应 考虑 实际 应 用 中 的 一 些 要 求 , 例 如 光滑 性 、 数 据 单调 性 的 要 求 等 . 


6.7.3 ” B- 样 条 函数 


三 次 样 条 函数 仅仅 是 样 条 函数 的 一 种 ,本 节 介 绍 一 般 的 样 条 函数 及 其 基 函 数 “B- 样 条 ” 
函数 , 它 是 计算 更 普遍 的 样 条 函数 插值 的 基础 . 
一 般 地 , 称 一 个 具有 上 一 1 阶 连续 导数 的 分 段 £ 次 多 项 式 为 k 次 样 条 函数 .例如 ,一 次 
(线性 ) 样 条 函数 为 分 段 线性 函数 ,二 次 样 条 也 数 的 光滑 性 与 分 段 埃 尔 米 特 插值 函数 一 样 , 但 
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3 22 
20 上 
20 
18 上 | 
15 上 
16| 
10r 14 
0 TE 人 
(a) 多 项 式 插值 (b) 分 段 线 性 插值 
25 25 
20 20 上 
15 15 上 
100 To Td 100 
(c) 保 形 分 段 插 值 (d) 三 次 样 条 插值 


图 6-18 4 种 插值 曲线 的 图 形 


在 每 个 小 区 间 上 具有 二 次 多 项 式 的 表达 式 . 
类 似 于 拉 格 朗 日 插值 法 ,我 们 也 可 以 将 样 条 函数 表示 为 基 函 数 的 线性 组 合 ,例如 对 于 一 
次 样 条 (分 段 线性 函数 ) ,我 们 已 推 时 了 其 对 应 的 基 屿 数 ( 见 6. 6.2 节 、 图 6-13).k 次 样 条 函 
数 的 这 种 基 函 数 称 为 k 次 B- 样 条 函数 了 ,它们 可 通过 递 推 公 式 来 定义 . 为 了 表示 方便 ,不 妨 
假设 节点 是 一 个 无 限 集合 
Se ME ee 
定义 6.9: 设 i 为 任意 整数 ,定义 0 次 B- 样 条 为 
1 和 
B? (zx) = 
其 他 
同时 定义 一 组 辅助 的 线性 函数 
E(w 三 
TH Xi 
对 于 & 之 0, 定义 次 B- 样 条 为 
Bi(x) = Wrz)IBN (7) 二 [1 tn (7x) JBHi (7). (6.81) 
从 定义 6.9 看 出 ,由 于 (zx) 为 线性 函数 ,0 次 B- 样 条 为 分 段 常 函数 ,1 次 B- 样 条 为 分 
段 线 性 函数 ,进而 可 推出 & 次 B- 样 条 为 分 段 & 次 多 项 式 . 
例 6.14(1 次 B- 样 条 ) : 根据 B- 样 条 的 定义 ,推导 Bi(z) 的 表达 式 . 
【 解 】 根据 式 (6. 81) ,得 
Bi(z) = wx)B? xz) + [1 om wh (zx) Bx). 
由 于 涉及 B(x)、BYi1(x) 两 个 函数 ,将 自 变 量 的 区 间 分 为 Lxi ,zit1j\Lzxit1 ,zit+2j 和 其 他 三 部 


@ 名 字 中 的 B 表 示 bell, 意 指 函 数 图 形 像 钟 的 形状 . 
。 230 。 


第 6 章 函数 逼近 与 函数 插值 


分 分 别 讨论 . 
当 zE[zzai] 时 ,BCz) 一 起 () 一 一 人 
Titl Xi 
当 zE[zsiyzrs] 时 ,BCz) 一 1 一 中:Cz) 一 1 人 
Tit2 Titl Titl Xit2 
当 z 为 其 他 取 值 时 ,Bi(Cz) 一 0. 
综合 起 来 ,得 到 
四 ? ee 
Xil™ 
1 i RE 
Be 2 Tl 雪 无 和 区 
Titl 并 计 2 
0 其 他 . 
它 与 分 段 线 性 插值 基 薄 数 (6. 64) 是 完全 一 致 的 . 国 


图 6-19 显示 了 二 次 ,三 次 B- 样 条 的 图 形 . 根据 这 些 直 观 的 函数 图 形 以 及 更 严格 的 理论 
分 析 , 可 知 B- 样 条 函数 BI(zx) 具 有 如 下 重要 性 质 ( 参 见 文献 [1]). 

(1) 当 x 二 zi 或 X 宇 zitwti 时 ,Bi(x)==0. 

下 3 当 < < HH 时 ,BCz) 过 0. 

(3) 对 所 有 x，》) Bf(z) 一 1. 

(4) 车 k 宇 1 ,函数 Bt (x) 的 & 一 1 阶 导数 连续 


1.0 
0Q;5 
0 Xitl Xi2 Xi3 XiH4 Xits 
Ga) 二 次 B- 样 条 函数 B302) 
1.0 
0.5 
0 1 1 1 
有 Xi Xna XH3 XiH4 Ks 


(b) 三 次 B- 样 条 函数 B(x) 
图 6-19 二 次 ,三 次 B- 样 条 图 形 


这 些 性 质 表 明 B- 样 条 函数 具有 局 部 非 零 性 质 , 是 规范 化 的 , 且 自 身 也 是 样 条 函数 . 若 对 

有 限 个 节点 zo 过 zi 三 … 过 x 进行 插值 ,只 需 将 Bi; (x), Beiri(z),…,Br-1(ZX) 这 n 十 k 个 

k 次 B- 样 条 函数 进行 组 合 . 可 以 证 明 , 它 们 在 区 间 [zo ,zj 上 的 部 分 组 成 2 十 & 个 线性 无 关 

的 基 函 数 . 因此 ,对 于 满足 额外 边界 条 件 的 [zs ,z,] 上 的 不 次 样 条 函数 ,可 唯一 地 用 这 些 基本 

数 的 线性 组 合 表示 . 感 兴趣 的 读者 可 以 推导 Bi (x) 的 表达 式 ， ep amd en 

列 方程 求 这 些 基 函数 对 应 的 系数 ,进而 推导 出 三 次 样 条 插值 函数 的 表达 式 . 这 个 计算 过 程 将 
与 6.7. 2 节 的 方法 得 到 相同 的 结果 . 

利用 B- 样 条 基 函 数 ,可 得 到 确定 和 计算 各 阶 样 条 插值 的 有 效 而 稳定 的 方法 . 此 外 , 它 在 
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计算 机 图 形 学 、 几 何 建 模 以 及 数值 求解 微分 方程 等 领域 都 有 广泛 的 应 用 . 
评 述 


关于 多 项 式 逼 近 和 插值 问题 的 研究 历史 悠久 ,应 用 面 也 很 广 .本 章 只 讨论 了 一 元 函数 的 
最 佳 平方 逼近 ,更 多 的 相关 内 容 , 包 括 多 元 函数 的 盘 近 、 正 交 多 项 式 等 ,可 参考 下 述 文献 
。 P.J. Davis, Interpolation and Approrimation, Dover, 1975. 
。 W.Cheney, Introduction to Approrimation Theory, AMS Chelsea Publishing， 
2nd edition, 1998. 

。 G. A. Baker，P. R. Graves-Morris, Pade Approrimations, Cambridge University 
Press, 2nd edition, 1996. 

。 W. Gautschi, Orthogonal polynomials: Applications and computation, Acta 
Numerica, Vol. 5, pp. 45-119, 1996. 

最 佳 平方 逼近 的 法 方程 方法 在 1795 年 由 高 斯 提出 . 格 莱 姆 -斯 密 特 正 交 化 方法 在 1883 年 
由 格 莱 姆 提出 ,1907 年 斯 密 特 给 出 了 现代 算法 . 在 求解 最 小 二 乘 问题 中 使 用 QR 分 解 方法 ， 
特别 是 使 用 Householder 变换 的 方法 是 在 1965 年 由 G. Golub? 提出 的 . 最 小 二 乘 方法 是 统 
计 学 的 重要 工具 ,也 称 为 回归 分 析 ,很 多 常用 的 数据 处 理 软件 (比如 微软 公司 的 Excel 软件 ) 
都 具有 这 个 功能 .本 章 讨论 的 线性 最 小 二 乘 问题 实际 上 是 一 种 最 简化 的 形式 , 即 假设 竺 逼近 
函数 是 基 函 数 的 线性 组 合 . 在 实际 应 用 中 还 常 遇 到 非 线性 最 小 二 乘 问题 , 它 属 于 非 线 性 优化 
问题 , 见 参 考 文献 [1] 及 其 他 文献 . 另外 , 若 考 虑 所 有 参量 都 带 有 随机 误差 的 情形 , 则 成 为 完 
全 最 小 二 乘 问题 ,有 关 详细 讨论 见 文献 : 

。 S.Van Huffel, J. Vandewalle, The Total Least Squares Problem, SIAM Press, 1991. 

本 章 也 没有 讨论 拟 合 的 基 函 数 可 能 线性 相关 的 情况 ,这 在 实际 中 可 能 由 于 拟 合 模型 
的 不 合理 或 数值 误差 造成 , 它 使 得 矩阵 A 列 不 满 秩 . 此 时 最 佳 平方 台 近 解 不 唯一 ,要 得 到 
实际 有 用 的 一 个 到 近 解 , 需 采用 列 重 排 的 QR 分 解 等 技术 ,更 多 讨论 参见 文献 L1] 及 其 他 
文献 . 

多 项 式 插 值 问题 历史 非常 修 久 ,牛顿 \ 拉 格 朗 日 等 都 在 这 方法 做 出 了 很 多 贡献 . 除了 将 
函数 值 作 为 条 件 的 插值 问题 ,插值 条 件 中 包括 各 阶 导 数值 的 情况 也 常见 于 各 种 工程 应 用 中 . 
目前 ,常用 的 文档 编辑 软件 都 已 使 用 保 形 分 段 插值 来 绘制 曲线 ,例如 微软 公司 的 Word 和 
PowerPoint 软件 . 样 条 函数 是 1946 年 由 Schoenberg 首先 提出 的 ,本 章 只 讨论 了 一 维 数据 
的 样 条 插值 和 B- 样 条 函数 ,实际 问题 中 还 有 高 维 的 插值 问题 ,尤其 在 计算 机 图 形 学 中 二 维 
B- 样 条 是 一 个 重要 的 工具 . 关于 样 条 的 参考 文献 主要 有 : 

。 C. de Boor, A Practical Guide to Splines, Springer-Verlag, 2nd edition, 1984. 

*。 E.V.Shikin, A.1.Plis, Handbook on Splines for the User, CRC Press, 1995. 

最 后 ,列表 说 明 MATLAB 中 与 本 章 讨论 的 函数 允 近 与 插值 有 关 的 命令 和 功能 ( 见 
表 6-12). 


@@ Gene H. Golub(1932 一 2007) ,美国 斯 坦 福 大 学 计算 机 系 教授 ,美国 科学 院 、 工 程 院 、 艺 术 与 科学 院 三 院 院 十 , 著 
名 的 数值 计算 专家 ,1996 年 出 版 的 著作 Matriz Computations[21 被 奉 为 矩阵 计算 领域 的 经 典 . 
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表 6-12 MATLAB 中 的 有 关 命 令 
MATLAB 命令 功能 说 明 


(zx，y) 为 离散 的 数据 点 ,polyfit 命令 将 它 拟 合 为 n 次 多 项 式 , 系 数 存 于 p 
中 . 求 出 多 项 式 系数 后 ,可 用 命令 polyval 计算 某 个 自 变量 对 应 的 函数 值 
反 斜 线 运 算 符 “\” 可 用 于 求解 一 般 的 线性 最 小 二 乘 问题 Ax 实 b, 其 内 部 算 


p= polyfit(x, y, n) 


法 主要 是 算法 6.3 
(zx，y) 为 插值 数据 点 ,xi 为 要 计算 的 自 变量 值 ,interpl 命令 根据 不 同 的 


method 选项 ,将 插值 结果 返回 给 yi. method 的 选项 为 : 


te od, | Peerest 分 段 0 次 多 项 式 插值 ; 
i=interpl (x, y, xi, metho 
y P linear 分 段 线性 插值 ; 


spline 一 一 三 次 样 条 插值 ; 

pchip 一 一 保 形 分 段 插值 . 

保 形 分 段 插值 ,(z，?y) 为 插值 数据 点 ,xi 为 要 计算 的 自 变 量 值 , 插值 结果 
返回 给 yi. 与 interpl 中 的 相应 功能 相同 

三 次 样 条 插值 ,(z，?y) 为 插值 数据 点 ,xi 为 要 计算 的 自 变 量 值 ， 插值 结果 
返回 给 yi. 与 interpl 中 的 相应 功能 相同 

interp2, interp3 分 别 进行 二 维 、 三 维 数据 的 插值 ,其 使 用 方法 及 参数 与 interpl 类 似 


yi=pchip(x, y, xi) 


yi=spline(x, y, xi) 


另外 ,MATLAB 中 的 Curve Fitting Toolbox 与 Spline Toolbox 两 个 工具 箱 分 别提 供 
了 丰富 的 曲线 拟 合 与 样 条 插值 的 功能 . 

【本 章 知识 点 】 连续 函数 的 范 数 ; 内 积 及 其 性 质 ;内 积 空间 的 格 莱 姆 矩阵 及 其 非 奇 异 的 
充 要 条 件 ; 权 函数 与 加 权 内 积 ; 最 佳 一 臻 逼近 与 最 佳 平方 逼近 的 概念 ;法 方程 方法 求 连 续 郴 
数 的 最 佳 平 方 逼 近 ; 最 佳 平方 逼近 的 误差 ; 正 交 函数 族 与 Gram-Schimdit 正 交 化 过 程 ; 勒 让 
德 多 项 式 ; 用 正 交 函数 族 做 最 佳 平 方 逼 近 ; 曲 线 拟 合 的 线性 最 小 二 乘 问 题 ; 线 性 最 小 二 乘 问 
题 的 矩阵 描述 ;法 方程 方法 解 线 性 最 小 二 乘 问题 ;表格 函数 的 线性 无 关 性 与 相关 性 ;利用 和 矩 
阵 的 QR 分 解 解 线性 最 小 二 乘 问题 ;插值 的 基本 概念 ; 范 德 蒙 矩 阵 与 多 项 式 插值 的 存在 唯一 
性 ; 拉 格 朗 日 插值 公式 ; 拉 格 朗 日 插值 余 项 公式 ;牛顿 插值 公式 ; 差 商 的 计算 ;牛顿 插值 余 项 
公式 ;高 次 多 项 式 插值 的 问题 ;分 段 线性 插值 ; 埃 尔 米 特 插值 ;分 段 三 次 埃 尔 米 特 插值 ; 保 形 
分 段 插 值 ;三 次 样 条 插值 及 边界 条 件 ; 三 次 样 条 插值 的 构造 方法 ;三 弯 矩 方程 ; 几 种 插值 的 比 
较 ;B- 样 条 函数 的 基本 概念 与 性 质 . 


算法 背后 的 历史 : 拉 格 朗 日 与 插值 法 


约瑟夫 。 路 易 斯 。 拉 格 朗 日 (Joseph-Louis Lagrange,1736 年 1 月 25 日 一 1813 年 4 月 
10 日 ) 是 法 国 数学 家 、 物 理学 家 . 他 在 数学 ,力学 和 天 文学 三 个 领域 中 都 有 巨大 的 贡献 ,其 中 
尤 以 数学 方面 的 成 就 最 为 突出 . 拉 格 朗 日 与 同时 代 的 勒 让 德 (Legendre)、 拉 普 拉 斯 
(Laplace) 并 称 为 法 国 的 3L. 

拉 格 朗 日 于 1736 年 生 于 意大利 西北 部 的 都 灵 .17 岁 时 ,开始 专攻 当时 迅速 发 展 的 数学 
分 析 . 1756 年 , 受 欧 拉 的 举荐 , 拉 格 朗 日 被 任命 为 普鲁士 科学 院 通信 院士 . 1766 年 赴 柏 林 任 
普鲁士 科学 院 数 学 部 主任 ,居住 柏林 达 20 年 之 久 , 这 是 他 一 生 科学 研究 的 易 盛 时 期 .在 此 期 
间 ,他 完成 了 著作 《分 析 力 学 》. 1786 年 加 入 了 巴黎 科学 院 成 立 的 研究 法 国度 量 衡 统 一 问题 
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的 委员 会 ,并 出 任 法 国米 制 委 员 会 主任 . 1795 年 建立 了 法 国 最 高 学 
Wi 西 研究 院 后 , 拉 格 朗 日 被 选 为 研究 院 数 理 委员 会 主 
席 .1813 年 4 月 3 日 ,法 国 国王 拿破仑 授予 他 帝国 大 十 字 有 勋章 . 

拉 格 朗 日 的 主要 贡献 

。 微分 方程 . 

。 方程 论 . 

。 数论 . 

。 函数 和 无 穷 级 数 . 图 6-20 拉 格 朗 日 

。 拉 格 朗 日 插值 . 

。 商定 天 体力 学 . 

。 创立 分 析 力 学 . 

。 拉 格 朗 日 夹子 法 . 

插值 法 与 招 差 术 

早 在 公元 6 世纪 ,中 国 隋 朝 的 刘 灶 已 将 等 距 二 次 插值 用 于 天 文 计算 .17 世纪 之 后 , 牛 

顿 、 拉 格 朗 日 分 别 讨论 了 等 距 和 非 等 距 的 一 般 插 值 公式 .在 近代 ,插值 法 仍然 是 数据 处 理 和 
编制 函数 表 的 常用 工具 ,又 是 数值 积分 、 数 值 微分 、 非 线性 方程 求 根 和 微分 方程 数值 解法 的 
重要 基础 ,许多 求解 计算 公式 都 是 以 插值 为 基础 导出 的 . 

在 中 国 古 代 , 将 高 次 内 插 法 称 为 “ 招 差 术 ”. 隋唐 时 期 ,已 出 现 等 间距 和 不 等 间距 二 次 内 
插 法 ,用 于 计算 日 、 月 .五 星 的 运行 速度 .元 代 天 文学 家 和 数学 家 王 愧 、 郭 守 故 在 所 编制 的 《 授 
时 历 ) 中 ,为 精确 推算 日 月 五 星 运行 的 速度 和 位 置 ,根据 "平定 \、 立 ”三 差 , 创 立 了 三 次 内 插 公 
式 . 在 欧洲 ,对 “ 招 差 术 ”首先 加 以 讨论 的 是 英国 数学 家 格雷 葬 里 (J. Gregory,1670). 此 后 不 
久 , 牛 顿 得 到 了 现在 通称 牛顿 插值 公式 的 一 般 结 果 . 牛顿 插值 公式 在 现代 数学 和 天 文学 计算 
中 仍然 起 着 重要 的 作用 .在 中 国 , 元 代数 学 家 朱 世 杰 发 现 了 与 牛顿 插值 公式 完全 一 致 的 公 
式 , 创 立 较 完 整 的 “ 招 差 术 ”, 这 比 西方 大 约 早 了 三 百年 “ 招 差 术 ”的 创立 发 展 和 应 用 是 中 国 


数学 史 和 天 文学 史上 的 重大 成 就 . 
拉 格 朗 日 名 言 
。 一 个 人 的 贡献 和 他 的 自负 pei 这 似乎 是 品行 上 的 一 个 公理 . 
。 如 果 我 继承 可 观 的 财产 ,我 在 数学 上 可 能 没有 多 少 价值 了 . 


。 我 把 数学 看 成 是 一 件 有 意思 ee 而 不 是 想 为 自己 建立 什么 纪念 碑 . 可 以 肯定 地 
说 ,我 对 别人 的 工作 上 比 自己 的 更 喜欢 .我 对 自己 的 工作 总 是 不 满意 . 

。 对 于 每 一 本 值得 阅读 的 数学 书 ,必须 “ 前 后 往返 ”地 阅读 . 

。 我 此 生 没 有 什么 遗憾 ,死亡 并 不 可 怕 , 它 只 不 过 是 我 要 遇 到 的 最 后 一 个 函数 . 


练 习 题 


1. 对 于 复 内 积 空间 ,证明 定理 6.1 ( 柯 西 - 施 瓦 茨 不 等 式 ). 

和 当 了 (2) 三 时;s 求 下 BB,(f ,2) 二 = 

3. 对 于 下 列 线性 空间 CL0,1] 中 的 函数 f(x), 计算 fl。 fl 与 上 了 |;: 
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GD i (2) AD=|*- 志 |. 
4. 对 f(z),g(x)EC[La,bj, 定 义 
《区 大 ,这 六 三 | epgcodr， (2 [fw8 drt fae), 
问 它们 是 否 构 成 内 积 ? 若是 请 证 明 , 若 不 是 请 说 明 原因 . 
5. f(z)= 二 |zt| 定 义 在 [一 1,1J 上 ,在 子 空间 更 王 span{1, 幸 ,六 ) 中 求 它们 的 最 佳 平方 盘 
多 项 式 . 
6. 在 子 空间 ®@ 二 span{1, 四 中 , 求 下 列 函 数 f(z) 的 最 佳 平方 逼近 多 项 式 : 
(1) f(1)=e ,1€EL0,1]; (2) f(1)=cos(xt) ,1t€EL0,1]. 
证 明正 交 多 项 式 序列 {gp (CD ,pz (CD ,… ,gr (1),…) 满 足 递 推 公式 (6.18) 一 公式 (6. 20). 


8. 设 /(D==sin( 子 小， iE[ 一 1, 匡 ,利用 惑 让 德 多 项 式 求 FoD) 的 三 次 最 佳 平方 逼近 多 项 式 . 
9. 已 知 实验 数据 如 表 6-13 所 示 . 


表 6-13 ”实验 数据 
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97.8 


用 最 小 二 乘法 求 形 如 y= 二 a 十 bz? 的 经 验 公 式 , 并 计算 均 方 误差 . 
10. 在 某 化 学 反应 中 ,由 实验 得 分 解 物 浓度 与 时 间 的 关系 如 表 6-14 所 示 . 


表 6-14 浓度 与 时 间 的 关系 


TT 
TET EN I EC CE CE EC 


用 最 小 二 乘法 求 函 数 表达 式 y= 二 了 (7). 

11. 将 例 6.5 的 问题 转化 为 标准 的 线性 最 小 二 乘 问题 式 (6. 30) ,然后 使 用 算法 6. 2 求解 . 

12. 已 知 coszx(0" 过 x 过 90") 的 函数 表 , 其 中 自 变量 取 值 的 步 长 ==1 ==(1/60)", 函 数值 
有 具 有 5 位 有 效 数 字 , 求 利用 该 函数 表 以 及 线性 插值 技术 计算 cosz 的 总 误差 界 ( 包 括 截断 误 
差 . 舍 人 误差 ). 

13. 设 (j 二 0,1,…,n) 为 互 异 节点 ,对 应 的 拉 格 朗 日 插值 多 项 式 为 L, (x),l; (x) 
(三 0,1,…,7) 为 拉 格 朗 日 插值 基 函 数 .求证 : 


cn 
a 


(1 = 0 
j=0 


(2) > x — zz) =0, (k= 1,2,.,n). 


j=0 


14. 设 f(x)EC[a,6] 且 f(a) 二 了 (5) 二 0, 求 证 : 


max | f(z) | 二 (a 一 6 max | F(z) |. 


15. 在 一 4<x<4 上 给 出 成 动 = 的 等 距 节 点 函数 表 , 若 用 二 次 插值 求 e 的 近似 值 ， 
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要 使 截断 误差 不 超过 10“ , 问 使 用 函数 表 的 步 长 h 应 取 多 少 ? 
16. 车 F(z)=ao 十 az 十 … 十 aiz 十 az 有 7 个 不 同 的 实 零点 x1 ,Xxs，… ,Xs， 且 
天 0, 试 证 明 : 
秦 0 ， 0 雪上 友和 7 一 2 
7 R 一 1 一 1 
1T75 关 济 三 才 填 形 二 3 天 十 到 求 -有 2 52 03527 及 L252 5352 |]; 
18. 不 利用 埃 尔 米 特 插值 公式 (6. 67)、 公 式 (6.68) ,根据 待定 参数 法 推导 两 点 三 次 埃 尔 
米 特 插值 的 基 函 数 公式 (6. 69). 
19. 证 明 两 点 三 次 埃 尔 米 特 插值 余 项 是 
R(xz} = .FOOR— /A EE (omen)s 
并 由 此 求 出 分 段 三 次 埃 尔 米 特 插值 的 误差 限 . 
20. 求 一 个 次 数 不 高 于 4 次 的 多 项 式 P(z) ,使 它 满足 P(0)==P'(0)=0,P(1)=P'(1) 
1,P(2)=1. 


21. 设 f(z)==1/(1 十 x?), 在 一 5 过 x 二 5 上 取 n==10, 按 等 距 节点 求 分 段 线 性 插值 函数 
I (x) ,计算 各 节点 间 中 点 处 的 I (x) 与 f(x) 的 值 ( 保 留 小 数 点 后 4 位 ,结果 列 于 表格 中 ), 然 
后 用 插值 余 项 公式 估计 误差 ,看 看 上 述 计算 值 是 否 符合 理论 估计 . 
22. 求 f(x) 二 xz? 在 [a,b] 上 的 分 段 线性 插值 函数 五 (z) ,并 估计 误差 . 
23. 求 f(x) 二 x' 在 [a,6j] 上 的 分 段 埃 尔 米 特 插值 ,并 估计 误差 . 
24. 函数 f(x) 的 定义 域 为 区 间 [27.7,30j], 设 插值 节点 与 函数 f(x) 的 值 如 表 6-15 所 示 . 
表 6-15 ”插值 节点 与 函数 f(x) 的 值 


试 求 三 次 样 条 插值 多 项 式 SCz) ,满足 边界 条 件 S(27.7)=3.0,S (30) 王 一 4.0( 注 : 可 用 数 
值 软件 求解 三 弯 矩 方程 ,最 后 写 出 SCz) 表 达 式 时 ,多 项 式 的 系数 保留 小 数 点 后 两 位 ). 
25. 设 FCz)EC[a,oj,SCz) 是 三 次 样 条 函数 , 试 证 明 : 


b b b b 
(1) | CF*C2) J dz =| [S“(z)]?dz = | WA 2| Sew fy = 
S”(zx)]dz. 
(2) 若 f(zi) 二 SC(zi)(i 二 0,1,…,n), 式 中 z; 为 插值 节点 ,有 征 4 二 zo 过 zi 过 … 过 zx, 二 5, 则 
b 
| SA Cn) Sa) dr = (DLACY =S(D) = .8 (LF ay —S ay] 


26. 推导 三 次 样 条 基 函 数 的 表达 式 B(x) ,利用 它 构造 三 次 样 条 插值 函数 ,比较 计算 过 
程 与 6.7. 2 节 方 法 的 异同 . 


上 机 题 
1. 编程 实现 算法 6. 2, 可 利用 现成 的 Cholesky 分 解 算法 ,用 练习 题 9.10 中 的 问题 来 验 


证 程序 的 正确 性 . 
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2. 编程 实现 算法 6. 3, 可 利用 现成 的 QR 分 解 算法 ,用 练习 题 9 10 中 的 问题 来 验证 程 


序 的 正确 性 . 
3. 对 物理 实验 中 所 得 下 列 数据 
ti 1.5 2 3.0 4 
共和 17950 J22.65 159,05 189.15 214.15 238.65 
fi 4.5 5 :5 6 6.5 7 7.5 8 


y; 252.2 267.55 280.50 296.65 301.65 310.40 318.15 325.15 
(1) 用 公式 y= 二 a 十 bt 十 ct? 做 曲线 拟 合 . 
(2) 用 指数 函数 y= 二 ae” 做 曲线 拟 合 . 
(3) 比较 上 述 两 条 拟 合 曲 线 , 哪 条 更 好 ? 
4. 在 MATLAB 中 编程 实现 算法 6.4, 并 利用 它 绘制 图 6-12. 
5. 对 于 使 用 第 三 种 边界 条 件 的 三 次 样 条 插值 ,讨论 形成 的 “三 弯 矩 方程 系数 矩阵 的 特 
点 ,针对 这 种 稀 芯 矩阵 的 特点 ,编程 实现 一 种 有 效 的 高 斯 消去 求解 算法 . 自己 构造 一 组 插值 
数据 ,测试 编写 的 程序 , 绘 出 相应 的 三 次 样 条 插值 曲线 . 
6. 对 于 使 用 第 四 种 边界 条 件 的 三 次 样 条 插值 ,推导 求 其 表达 式 的 方法 . 自己 构造 一 组 
插值 数据 ,测试 编写 的 程序 , 绘 出 相应 的 三 次 样 条 插值 曲线 ,与 上 机 题 4 的 结果 进行 对 比 . 
7. 对 [一 5,5] 做 等 距 划 分 ,ri 5 十 访 几 一 了 Gi 一 0.1， 站 并 对 Runge 给 出 的 函数 
a 
1 十 并 
做 拉 格 朗 日 插值 和 三 次 样 条 插值 ,观察 Runge 现象 的 发 生 与 防止 . 
(1) 取 2 一 10,20, 做 拉 格 朗 日 代数 插值 Lio (x) 与 Lzo (x). 
(2) 取 2 一 10,20, 做 第 一 种 边界 条 件 的 三 次 样 条 插值 Sio (x) 与 Swo (x). 
(3) 考察 上 述 两 种 插值 在 zx 王 4. 8 处 的 误差 ,并 分 析 . 
8. 已 知 直 升 飞机 旋转 机 可 外 形 曲 线 的 采样 点 坐标 如 下 : 
rz 0.520 3.1 8.0 17.95 28.65 39.62 50.65 78 104.6 156.6 
y 5.288 9.4 13.84 20.20 24.90 28.44 31.10 35 36.9 36.6 
: 208.6 260.7 312.50 364.4 416.3 468 494 507 520 
y 34.6 31.0 26.34 20.9 14.8 7.8 3.7 1.5 0.2 
以 及 两 端点 的 1 阶 导 数值 y= 二 1. 865 48 和 yy/ 二 一 0.046 115. 
利用 第 一 种 边界 条 件 的 三 次 样 条 插值 函数 计算 翼 型 曲线 在 zx 一 2,30,130,350,515 各 
点 上 的 函数 值 及 1 阶 导数 、2 阶 导 数 的 近似 值 . 


尺 


。 237 。 


第 7 章 数值 积分 与 数值 微分 


积分 问题 最 早 来 自 于 几何 形体 的 面积 \ 体 积 计算 ,也 是 经 典 力学 中 的 重要 问题 (例如 计 
算 物体 的 重心 位 置 ). 在 现实 应 用 中 ,很 多 积分 的 结果 并 不 能 写成 解析 表达 式 ,因此 需要 通 
过 数值 方法 来 计算 . 数值 微分 是 利用 一 些 离散 点 上 的 函数 值 来 近似 计算 某 一 点 处 的 函数 导 
数 , 它 针对 的 是 表达 式 未 知 的 函数 .本章 介 绍 一 元 函数 积分 (一 重 积 分 ) 和 微分 的 各 种 数值 
算法 ,它们 也 是 数值 求解 积分 方程 微分 方程 的 基础 . 


7.1 数值 积分 概论 


7.1.1 基本 思 # 
考虑 如 下 定 积 分 的 计算 : 


5 


b 
(人 =| f(z)dz, C7 1 
其 中 ,函数 f:R 一 及 ,首先 应 想到 的 是 微 积分 中 学 习 过 的 牛顿 - 莱 布 尼 效 (Newton-Leibniz) 
公式 


b 
| 7reopdz 一 下 (0) 一 下 (a)， 


其 中 ,F(z) 二 f(x) , 即 FCz) 为 FCz) 的 原 函 数 . 但 是 ,诸如 er .Smz sinzs 等 表达 式 很 简单 


Pr 
的 函数 却 找 不 到 用 初等 函数 表示 的 原 函 数 , 因 此 必须 研究 数值 方法 来 近似 计算 积分 另 一 
方面 , 某 些 函数 的 原 函 数 虽然 可 以 解析 表示 ,但 其 推导 、 计 算 非常 复杂 ,此 时 也 需要 使 用 数值 
积分 方法 . 
一 般 考 虑 连续 的 或 在 区 间 [a,5] 上 可 积 ? 的 函数 f(x) , 则 根据 积分 的 定义 有 


im Dm — Xi)f(&) = I(f), C7 2 
其 中 ,4a=zwo 过 zi 过 … 过 zi = 二 6,6 ELzxiyxinij， (10 1) ,ho max (zt zi). 公式 (7. 幼 
实际 上 也 反映 了 近似 计算 积分 的 思路 ,就 是 取 充 分 大 的 n, 用 函数 值 的 "加 权 和 ?逼近 准确 的 
积分 值 . 研究 数值 积分 方法 主要 是 探讨 如 何 用 相对 较 少 的 计算 成 本 得 到 准确 度 较 高 的 结 
果 , 这 里 的 成 本 常用 计算 被 积 函 数值 的 次 数 来 衡量 . 
上 述 讨论 表明 ,近似 计算 积分 I( 了 ) 的 数值 积分 方法 (numerical quadrature) 一 般 具 有 如 
下 形式 : 


L(f)= DAf zi), (730 
k=0 


@ 连续 函数 在 闭 区 间 内 一 定 有 界 、 可 积 , 而 可 积 函数 则 可 能 不 连续 . 
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其 中 ,a 过 zo 过 吉 过 … 过 xz, 二 5,Ai(0 声 k 志 n) 为 一 组 系数 . 形 如 公式 (7. 3) 的 求 积 公式 称 为 机 
械 求 积 公式 ,其 中 系数 Ai 称 为 积分 系数 , 自 变量 取 值 zx 称 为 积分 节点 . 根据 积分 节点 和 积 
分 系数 的 不 同 设置 ,可 得 到 各 种 具体 的 求 积 公式 . 针对 实际 的 数值 积分 问题 ,往往 还 需 使 用 
多 种 求 积 公式 构造 算法 ,以 达到 满意 的 效果 . 

推导 求 积 公式 的 一 种 方法 是 用 多 项 式 函 数 p(x) 来 近似 f(x), 则 可 期 望 有 以 下 的 近似 
关系 : 

[wd ~ | ecopdr， 

其 中 ,多 项 式 函数 的 积分 很 容易 通过 牛顿 - 莱 布 尼 兹 公式 求 出 . 假设 使 用 拉 格 朗 日 插值 法 构 
造 p(x) ,区间 [a, 外 内 的 插值 节点 为 zo zz， 则 


p(x) 一 工 。(Z) = SY 
U(x) 为 拉 格 朗 日 插值 基 函 数 . 由 此 得 到 求 积 公 式 为 


i 
i =| Snr) = 
4 k=0 


n 


b 
> Fa L(xYdir: C7 故 


k=0 


由 于 L(x) 为 拉 格 朗 日 插值 基 函 数 ,一 旦 插值 节点 确定 ,积分 facade 可 方便 地 计算 出 来. 


这 种 用 多 项 式 插 值 近似 被 积 函 数 得 到 的 求 积 公式 (7. 4) 被 称 为 插值 型 求 积 公式 
(interpolatory quadrature) , 易 知 它 也 是 一 种 机 械 求 积 公式 ,其 积分 节点 就 是 插值 节点 ,而 积 
分 系数 
A = | 2coaz， (k= 0,1,.,n). 人 

下 面 的 例子 推导 n 二 0、n 二 1 两 种 情况 下 的 插值 型 求 积 公式 ,它们 分 别称 为 中 给 形 公式 
(midpoint rule) 和 梯形 公式 (trapezoid rule). 

例 7.1( 中 矩形 公式 与 梯形 公式 ): 根据 nn 二 0.n 二 1 两 种 情况 对 应 的 拉 格 朗 日 插值 推导 
相应 的 求 积 公式 ,假设 插值 节点 分 别 为 区 间 [a, 的 中 点 和 两 个 端点 . 

【 解 】 当 n==0 时 , 按 题 意 设 zx, 二 (a 十 5)/2, 由 于 0 次 拉 格 朗 日 插值 多 项 式 为 常数 , 则 

Lo (zx) = f(z0) 

因此 ， 


L(f) = | 7ceodz 一 0 一 OA 
当 ?= 一 1 时 , 按 题 意 设 zo 二 a,zxi 二 5, 利用 线性 拉 格 朗 日 插值 基 了 薄 数 和 公式 (7.5) , 求 出 


四 本 
Ao = | lo(x)dzr =| 于 小 
a ea=b 2 


二 b 
2 上 (7.6) 


四 
A=|h()dz= | 5 三 这 


全 村 = 区 2 
因此 ， 
R= Ai Gey = [fe) 二 fC5)]. 0 
中 和 矩形 公式 (7.6) 和 梯形 公式 (7.7) 具 有 很 直观 的 几何 意义 , 即 分 别 用 和 矩形 面积 和 梯形 
面积 来 近似 函数 曲线 和 横 轴 围 成 区 域 的 面积 ( 见 图 7-1). 国 
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了 f0) 了 f0) 
NN NS CN S 
1 a (atb)/2 bx | x 
(a) 中 和 矩形 公式 (b) 梯形 公式 


图 7-1 中 矩形 公式 和 梯形 公式 的 示意 图 


7.1.2 求 积 公式 的 积分 余 项 与 代数 精度 


定义 7.1: 对 于 计算 积分 TA 的 求 积 公式 五 (CA , 称 工 访 一 五 (六 为 该 公式 的 积分 余 
项 , 常 记 为 RLf]. 

积分 余 项 反映 了 求 积 公式 的 截断 误差 ,是 衡量 求 积 公式 准确 度 的 重要 依据 . 假设 1,(7) 
为 某 个 插值 函数 pCz) 的 积分 , 则 


RLf] = [trea) — p(x)jdz, 
即 积分 余 项 等 于 插值 余 项 的 积分 ， 对 于 插值 型 求 积 公式 (7. 4) ,有 
R[ 门 = [Ef 600 -L001dz = | Fi on dz, (7.8) 


。 CO 二 1 

其 中 ,& 依赖 于 之 . 

下 面 介 绍 代数 精度 的 概念 , 它 是 衡量 求 积 公式 准确 度 的 男 一 个 重要 标准 . 

定义 7.2: 如 果 某 求 积 公式 对 于 次 数 不 超 过 m 的 多 项 式 均 准 确 成 立 , 但 对 于 mm 十 1 次 多 
项 式 可 能 不 准确 , 则 称 该 求 积 公式 具有 m 次 代数 精度 (degree of exactness). 

上 述 定义 表明 ,一 个 求 积 公式 具有 较 高 次 的 代数 精度 ,就 意味 着 它 能 准确 计算 次 数 较 高 
的 多 项 式 的 积分 了 .应 注意 ,在 某 些 情况 下 代数 精度 并 不 是 越 高 越 好 . 

要 判断 一 个 机 械 求 积 公 式 的 代数 精度 ,最 直接 的 方法 是 考察 当 被 积 函 数 分 别 为 1， 
zz” 时 求 积 公式 的 准确 性 . 下 面 给 出 一 个 定理 ,其 证 明 留 给 感 兴趣 的 读者 思考 . 


定理 7.1; 机 械 求 积 公式 1,(f) 二 Af Cz) 至少 有 加 次 代数 精度 的 充 要 条 件 是 当 


f(z) 分 别 为 1,x,…,x” 时 ， 
i 
我 们 讨论 的 所 有 求 积 公式 都 至 少 具 有 0 次 代数 精度 ,因此 根据 定理 7.1 它们 应 对 
了 (x) 三 1 的 积分 准确 ,可 推出 


b 
2 = | ldz=6—a, (7.9) 
k=0 王 


这 说 明 积 分 系数 之 和 等 于 区 间 长 度 . 
根据 插值 型 求 积 公 式 的 含义 ,容易 得 出 如 下 定理 ,其 证 明 留 给 读者 思考 . 


@ 当然 ,这 没有 什么 实际 意义 ,因为 很 容易 得 到 多 项 式 函数 的 原 函 数 . 
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定理 7.2: 机 械 求 积 公式 1,(f) = 》)Asf (xz) 是 插值 型 求 积 公 式 (7. 4) 的 充 要 条 件 是 


它 至 少 有 nn 次 代数 精度 . 

考察 例 7. 1 中 的 中 和 矩阵 公式 和 梯形 公式 ,可 得 出 它们 都 具有 一 次 代数 精度 . 一 般 地 ,在 
部 分 积分 节点 ,积分 系数 已 知 的 情况 下 ,利用 定理 7.1 可 建立 方程 求解 剩余 的 积分 系数 或 节 
点 ,使 其 达到 一 定 的 代数 精度 . 而 且 定理 7. 1 中 求 积 公式 的 形式 还 可 以 更 一 般 , 只 要 是 函数 
值 或 其 导数 的 线性 组 合 即 可 ,下 面 的 例子 说 明了 这 种 情况 . 

例 7.2( 求 积 公 式 的 代数 精度 ) : 用 形 如 昌 ; (了) 二 Aof(0) 十 A1f(1) 十 Bo 了 (0) 的 求 积 公 


式 近 似 积分 1( 了 ) = | /var, 试 确定 系数 A。、Ai、Bo ,使 公式 具有 尽 可 能 高 的 代数 精确 度 . 


【 解 】 根据 题 意 可 令 f(x) 二 1,z,xz 分 别 代 入 求 积 公式 使 妃 : (了) 二 TC 了) 精确 成 立 . 
当 f(x) 二 1 时 ,得 


1 
4 十 A， =| ee PE 
0 
当 f(x)==xz 时 ,得 


当 f(x)==x? 时 ,得 


联 立 上 述 三 个 方程 , 解 得 Ai = 二 ,A。 二子,B, 一 十. 


当 f(z) 二 x? 时 ,容易 验证 上 述 求 积 公式 不 准确 ,因此 H; (有) 最 多 具有 二 次 代数 精度 ， 国 
7.1.3 求 积 公式 的 收敛 性 与 稳定 性 

实际 使 用 的 求 积 公式 都 是 机 械 求 积 公 式 (7.3) ,下 面 针 对 它 给 出 求 积 公式 的 收敛 性 和 稳 
定性 的 概念 . 

定义 7.3: 对 于 的 值 可 为 任意 正 整数 的 一 系列 机 械 求 积 公 式 1,(f) = 》) Aif (xz)， 
a<z<z<…< 0, 若 

lim 1,(7) 一 | fedz, 

其 中 ,hh 二 max (zs 一 xx-1), 则 称 这 一 系列 求 积 公 式 具有 收敛 性 . 

收敛 性 说 明 求 积 公式 在 积分 节点 逐渐 增多 , 且 节 点 间距 逐渐 变 小 时 ,其 结果 收敛 到 准确 
的 积分 值 . 这 个 概念 不 同 于 公式 (7. 2), 后 者 反映 的 是 被 积 函 数 具 有 可 积 性 . 在 实际 应 用 
中 , 求 积 公式 具有 收敛 性 非常 重要 ,后 面 还 将 针对 具体 的 公式 加 以 讨论 . 

在 讨论 求 积 公式 的 稳定 性 之 前 , 先 分 析 数 值 积 分 问题 的 敏感 性 和 条 件数 . 假设 f(x) 为 
准确 的 被 积 函数 ，f (xz) 为 实际 计算 时 受 扰动 影响 的 被 积 函 数 ,扰动 的 大 小 为 6= | f(x) 一 
广 Cz) | ~—max|f(z)— f(z) | , 则 扰动 对 积分 计算 的 影响 为 


b b b 
rewar— TF war <| 2 ee ek (7. 10) 
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这 说 明 ,积分 计算 结果 的 误差 最 多 为 扰动 的 (6 一 a) 信 ,积分 区 间 的 长 度 (6 一 a) 是 绝对 条 件数 
的 上 限 . 一 般 来 说 ,数值 积分 问题 是 不 太 敏感 的 . 这 一 点 不 难 理解 ,因为 积分 运算 本 身 就 是 
一 个 平均 的 过 程 , 它 不 容易 受 被 积 函 数 的 小 扰动 的 影响 . 

求 积 公式 的 稳定 性 反映 计算 过 程 中 的 扰动 是 否 被 放大 ,以 及 放大 的 程度 . 具体 来 说 ,在 
计算 机 械 求 积 公式 时 , 需 考虑 积分 节点 的 函数 值 出 现 误差 时 , 它 对 结果 产生 的 影响 . 假设 节 
点 函数 值 由 f(z ) 变 为 了 (xz), 则 数值 积分 的 结果 由 I,() 变 为 1,( 了 六 ) ,两 者 之 差 满足 


[PDT N= | DA) 一 rozo]| 
k=0 
入 >) | Ai |:| fz) — fr) | 
k=0 


<(% Lal)e, C7 DL) 
k=0 


其 中 ,e 二 max | f(z) 一 了 (zx) | 过 6. 根据 式 (7. 9) , 若 同 时 有 Ai 记 0(k 二 0,…,n), 则 不 等 
式 (7. 11) 变 为 
| LDL <0CE—oe < 4— a)sd. C7 TD 
式 (7. 12) 表 明 求 积 公式 的 结果 受 扰动 影响 的 程度 与 积分 问题 敏感 性 的 结果 式 (7. 10) 一 致 ， 
这 是 控制 数值 计算 误差 能 达到 的 最 佳 情况 . 将 它 作 为 一 个 标准 ,可 定义 求 积 公式 的 稳定 性 . 
定义 7.4: 若 对 &=0,1,…,2, 均 有 A, 之 0, 则 机 械 求 积 公 式 卫 (7P = SA pCa 是 稳 
定 的 . 
利用 定义 7.4 很 容易 直接 判断 求 积 公式 的 稳定 性 . 在 实际 情况 中 ,不 稳定 的 求 积 公式 
的 积分 系数 绝对 值 之 和 >， | A | 可 能 远大 于 4 一 a, 从 而 导致 函数 值 的 扰动 在 计算 结果 上 
k=0 


被 放大 很 多 . 

本 节 介 绍 了 求 积 公 式 的 基本 形式 ,以 及 积分 余 项 代数 精度 、 收 敛 性 和 稳定 性 的 概念 ,其 
中 收敛 性 是 针对 一 系列 公式 (积分 节点 数目 逐渐 增多 ) 而 言 的 . 后 面 介绍 具体 公式 时 ,将 考 
察 单个 公式 的 积分 余 项 ,代数 精度 和 稳定 性 ,并 讨论 积分 节点 数目 逐渐 增多 时 的 收敛 性 . 此 
外 ,还 应 注意 具体 公式 中 计算 函数 值 的 次 数 , 它 是 度量 计算 量 大 小 的 标准 . 


7.2 牛顿 - 柯 特 斯 公式 
在 积分 区 间 上 构造 等 距 节点 的 多 项 式 插值 ,对 应 的 插值 型 求 积 公式 为 牛顿 - 柯 特 其 
公式 . 
7.2.1 柯 特 斯 系数 与 几 个 低 阶 公式 


假设 将 积分 区 间 n 等 分 , 步 长 A 二 (65 一 a)/n, 插 值 节点 为 x 二 a 十 kh,(k 二 0,…,n), 则 可 
得 到 等 距 节 点 的 拉 格 朗 日 插值 多 项 式 . 根据 公式 (7.4)、 公 式 (7. 5) 的 推导 ,得 到 形 如 


I,.(f) 二 》)A4f (xz) 的 求 积 公 式 ,其 中 
k=0 
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CD od 
a CR To (Re EO) 


dw: 


b 
Ai = | 《二 


这 就 是 n 阶 牛 顿 - 柯 特 斯 (Newton-Cotes) 公 式 . 


公 


引入 变量 代 换 : zx 二 a 十 圾 ,1€E 50,nj,， 则 


4 = 1 (Ea=T I (EES) i 


j=0,jk 


ce = 二 | II (Ef)a, (k = 0,°%*,n) (7.14) 


no nr —y 


它 仅 与 阶 数 n 有关, 而 与 区 间 大 小 无 关 , 则 积分 系数 

人 8 
公式 (7.14) 中 的 Ch” 常 被 称 为 柯 特 斯 系数 ,可 以 预先 计算 出 不 同 n 值 对 应 的 柯 特 斯 系数 ， 
制 成 一 个 表 ( 见 表 7-1) ,根据 它 方便 地 写 出 各 阶 牛 顿 - 柯 特 斯 公式 . 


表 7-1 柯 特 斯 系数 表 


n Ch 
i 1 
1 pr ee 
2 于 2 
6 3 
: 3 
3 站 
7 1 
2 55 45 
由 288 96 
6 Al 2 A 
40 35 840 
751 3577 3577 751 
17280 | 17280 17280 | 17 280 
8 989 5888 一 928 5888 989 
28350 | 28350 28350 | 28350 | 28350 
从 表 7-1 看 出 , 当 n= 二 8 时, 柯 特 斯 系数 CP 出现 负 值 , 因 此 对 应 的 求 积 公式 是 不 稳定 
的 . 表 7-1 也 显示 出 柯 特 斯 系数 的 对 称 性 , 即 CP 二 C34, 其 证 明 留 给 读者 思考 . 


下 面 介 绍 三 种 常用 的 低 阶 牛顿 - 柯 特 斯 公式 (对 应 于 2 一 1，2. 4). 
(1) 梯形 公式 (对 应 于 "一 1 的 情况 ) : 


py Lf + CO)]， (7. 16) 
(2) 辛普森 (Simpson) 公 式 ( 对 应 于 "一 2 的 情况 ): 
td .Jab 
SO = fe +47( 3 )+ Feo) | C7.17) 


(3) 柯 特 斯 (Cotes) 公 式 ( 对 应 于 nn 二 4 的 情况 ): 
。 243 。 


数值 分 析 与 算法 (第 2 版 ) 


0 一 
90 
注意 : 前 面 的 梯形 公式 (7.7) 就 是 这 里 给 出 的 工 (CP ,而 中 和 矩形 公式 也 可 看 成 是 牛顿 - 柯 
特 斯 公式 的 一 个 特例 (对 应 于 "一 0). 
例 7.3( 和 牛顿- 柯 特 斯 公式 ): 用 中 拢 形 公式 、 梯 形 公 式 和 辛普森 公式 近似 计算 积分 
1(f) = a di, 
【 解 】 三 种 方法 的 计算 结果 如 下 : 
If) = (1 一 0)ero5 0.778801, 


= 到 (人 十 er1) 2 0.683 940， 


CcC(f) = ST7f zo) 32f 7) + 12f (rs) + 32f (zr) 十 7FCri)]. (70.189 


1.0K 


Sf = 于 (人 +440” + ee!) 2 0.747 180. 


图 7-2 画 出 了 例 7.3 中 被 积 函 数 的 曲线 ,以 
及 各 个 求 积 公 式 对 应 的 插值 多 项 式 . 事实 上 ,这 
个 积分 的 精确 值 约 为 0.746 824, 因 此 辛普森 公式 
的 计算 结果 最 准确 ,中 矩形 公式 其 次 . 应 注意 的 0 
是 ,梯形 公式 的 误差 (一 0.062 884) 大 约 是 中 矩形 
公式 误差 (0.031 977) 的 两 倍 . 国 
7.2.2 牛顿 - 柯 特 斯 公式 的 代数 精度 

根据 定理 7.2,n 阶 牛顿 - 柯 特 斯 公式 至 少 具 有 ?7 次 代数 精度 .下面 的 定理 进一步 讨论 
了 为 偶数 的 情况 . 


定理 7.3; 当 为 偶数 时 ,n 阶 牛顿 - 柯 特 斯 公式 至 少 有 2 十 1 次 代数 精度 . 
【证 明 】 只 要 证 明 它 对 f(x) 三 x 的 积分 余 项 为 0. 由 于 广 ”7 (5 一 (2 十 1)1， 


b “(nt1) b 
RE 门 =| 全 wm (a= | 二 


pnt2 | 二 
h | Je Ddt 
这 里 令 X==a 十 t 圾 ,1+€ [0,nj]. 再 令 t= 二 u 十 n/2, 则 
n/2 玫 
|] 一 prt2 [I 0 
Ridsh | , («+ 2 i)au. 


j=0 


0.5r 


图 7-2 三 种 求 积 方法 计算 | dz 
的 示意 图 


考察 上 式 中 被 积 函数 HC) 二 ]T (十 过 一 让 ,由 于 ”为 偶数 , 则 
n/2 
HG@) = [| (7. 


j=—n/2 


易 知 瓦 (zx) 是 奇 函 数 ,例如 2 一 0 时 ,有 H(ww)= 二 us, n= 二 2 时 ,有 (ww) 二 (4 一 1)ulu 十 1). 所 以 
n/2 
,HG du = 0, 即 RL 有 ]==0, 根 据 定理 7.1, 原 命题 得 证 . 国 


一 般 来 说 ,偶数 阶 牛 顿 - 柯 特 斯 公式 与 比 它 高 一 阶 的 公式 有 相同 的 代数 精度 ,但 后 者 计 
算 函 数值 的 次 数 更 多 . 这 也 是 7. 2. 1 节 中 没有 列 出 3 阶 牛顿 - 柯 特 斯 公式 的 原因 . 
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7.2.3 几 个 低 阶 公式 的 余 项 

牛顿 - 柯 特 斯 公式 的 积分 余 项 符合 式 (7. 8) ,下 面 对 几 个 低 阶 公式 推导 便于 估计 积分 误 
差 的 余 项 公式 . 

1. 梯形 公式 的 余 项 

根据 式 (7. 8) ,梯形 公式 的 余 项 为 


三 三: 城府 三 请 疗 三 「 32c Dt — de, (7.19) 


其 中 ,EE (4a,6). 由 于 f”(&) 处 于 积分 号 内 ,无 法 直接 利用 公式 (7. 19) 估 计 截 断 误差 . 复习 
微 积 分 中 学 过 的 第 一 积分 中 值 定 理 : 若 函 数 f(x)、g(x) 在 区 间 [a,6] 上 有 界 、 可 积 ,是 g(x) 
在 La, 5j 内 不 改变 正 负 号 ,f(x) 连 续 , 则 至 少 存在 一 点 EE (a,0) ,使 


b 
| 人 /9| g(r) dx 


针对 式 (7. 19) , 取 g(x) 二 (x 一 a)(x 一 0), 易 知 g(x) 二 0, YrE [a,bj. 将 六 (8&) 看 作 关 于 x 
的 连续 函数 , 则 根据 第 一 积分 中 值 定理 得 


J 


Cn) fs “(7) 
Rr = | (z—a)(zr— bdr =— 人 6， (7. 20) 


其 中 ,7E (a,b). 
2. 辛普森 公式 的 余 项 
根据 式 (7.8) ,辛普森 公式 的 余 项 为 


. b "(3) L 
R= Tt = | 三 全 wo(z 一 兮 4 


) (z—b)dz. 


A 


由 于 当 zE[a, 匀 时 ,(z 一 a)(z 一 全 )(z 一 人 的 值 改变 符号 ,无 法 直接 使 用 积分 中 值 定理 


2 
将 Mh bn 下 面 利用 辛普森 公式 具有 三 次 代数 精度 的 性 质 以 及 一 些 技巧 ,来 推 
导 其 余 项 表达 


设 三 次 多 项 式 函数 五 (z) 满 足 条 件 Hl(a) 二 f(a),H 


(= (全 2). 


f H(b)=f(0), 


4 十 0 


以 及 HH (所) 了 ( 邱 ). 求 耳 数 H(z) 的 问题 是 一 种 埃 尔 米 特 插值 问题 ,第 6 章 的 


例 6. 12 曾 给 出 求 有 H(z) 的 方法 ,并 推导 出 插值 余 项 为 上 氏 (z 一 xz0) (x 一 1)* (x 一 zs) ,其 
中 se (a,5)， 由 于 辛普森 公式 对 于 子 数 ent 
| re) 4f (3) f(b) | 


b 
Rs =|. f(r)dr 


=[ fwdr -ss [He +4H()+ HC) | 


(4) 2 
=| 7rcodz-|acodz=| te a) (> 2) Cx — Dl 


(zx 一 0) 志 0, Vr ELa,0], 使 用 第 一 积分 中 值 定理 得 
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es dt atoby 
Rs = 一 | © (z 一 和 (bdr 


了 ] 
—— a bo), (i 


其 中 "NE (a.b). 
上 述 技巧 还 可 用 于 推导 中 和 抢 形 公式 的 积分 余 项 ,其 结果 为 


R= = he= LD ay, (7. 22) 


其 中 ,7E (a,6)， 对 比 公式 (7. 20) 和 公式 (7. 22) 看 出 , 若 被 积 函 数 的 2 阶 导数 变化 不 大 , 则 
中 和 矩形 公式 的 误差 约 为 梯形 公式 的 一 半 , 这 解释 了 例 7. 3 中 的 现象 ,另外 注意 ,在 使 用 上 述 
积分 余 项 公式 时 , 需 保证 被 积 函数 满足 相应 的 光滑 性 要 求 . 

牛顿 - 柯 特 斯 公式 是 等 距 节点 的 插值 型 求 积 公式 ,使 用 方便 . 从 表 7-1 看 出 ,mn=8 对 应 
的 牛顿 - 柯 特 斯 公式 是 不 稳定 的 . 实际 上 ,当主 10 时 ,Co , (一 0,1,…, 站 中 至 少 有 一 个 是 
负 的 ,而 当 m>co 时 ， 

2 OP 全 

因此 , 随 着 积分 节点 个 数 的 增加 ,高 阶 牛顿 - 柯 特 斯 公式 是 不 稳定 的 ,函数 值 的 小 扰动 将 导 
致 结果 的 很 大 误差 . 而 由 于 高 次 多 项 式 插值 存在 龙 格 现象 , 即 插值 节点 的 增加 并 不 能 保 
证 插值 函数 收 全 到 被 积 函数 上 ,牛顿 - 柯 特 斯 公式 可 能 不 收 剑 , 所 以 ,实际 上 只 使 用 低 阶 
(x 过 8) 的 牛顿 - 柯 特 斯 公式 


7.3 复合 求 积 公式 


由 于 高 阶 牛顿 - 柯 特 斯 公式 是 不 稳定 的 ,不 能 通过 提高 阶 数 来 提高 计算 积分 的 准确 度 . 
类 似 于 分 段 低 次 插值 的 做 法 ,可 将 积分 区 间 分 成 若干 个 子 区 间 (通常 是 等 分 的 ) ,再 对 每 个 子 
区 间 使 用 低 阶 的 牛顿 - 柯 特 斯 公式 ,通过 增加 子 区 间 的 数目 就 能 提高 整个 积分 的 准确 度 ， 例 
如 ,将 区 间 [La, 5j 等 分 为 n 个子 区 间 , 对 每 个 采用 梯形 公式 计算 , 则 整个 积分 的 误差 为 梯形 


fm bay “(WO—a)’ ey 
公式 积分 余 项 之 和 > 关 区 (和 2】 , 它 近 似 等 于 二 人 0 一, 随 着 子 区 间 数 目的 增 
大 ,误差 将 逐渐 减 小 . 这 种 计算 积分 的 方法 称 为 复合 求 积 法 (composite quadrature). 
7.3.1 复合 梯形 公式 


假设 将 积分 区 间 [La,6j 分 为 n 等 分 , 步 长 4 二 (6 一 a)/n, 在 得 到 的 每 个 小 区 间 [xi ,zri] 
上 用 梯形 公式 做 近似 积分 , 即 


[fwdr 过 [fm) FF Re 


其 中 ,zi 二 a 十 kh,(k 二 0,1,…,n). 再 将 各 小 区 间 的 近似 积分 相 加 ,得 到 计算 FTP) 的 积分 公式 


rl a 
h h 
也 一 af tf r= /YT fr) tb] C7.23) 


公式 (7.23) 称 为 n 十 1 个 节点 的 复合 梯形 公式 
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从 公式 (7.23) 可 以 看 出 ,复合 梯形 公式 也 属于 机 械 求 积 公 式 , 并 且 是 稳定 的 . 事实 上 ， 
它 是 利用 分 段 线性 插值 近似 被 积 函 数 得 到 的 求 积 公式 ( 见 图 7-3). 由 于 分 段 线性 插值 具有 
收敛 性 (定理 6. 10) ,容易 想到 复合 梯形 公式 也 是 收 


bd f(x) 
/~ 敛 的 . 下 面 从 另 一 个 思路 证 明 复合 梯形 公式 的 收敛 
分 段 线 性 


Ww nn 
a 人 ,前 
入 值 数 Ma 性 . 记 了 人 ho fr) 4 AZ for) 则 
1 nl n 
T, =[h DF) +hD) fn)] 
1 ey k=1 


| 
| 
1 
1 
| 
| 
| a 


二 
1 2 bx 


图 7-3 复合 梯形 公式 计算 积分 (zx 一 3) 一 了 CT 二 T”). 
这 说 明 T, 是 /与 T“ 的 平均 值 .注意 到 并 相当 于 

各 小 区 间 左 端点 函数 值 乘 以 小 区 间 长 度 并 求 和 , 若 f(x) 是 可 积 函 数 , 则 根据 积分 的 定义 知 

定理 7.4: 车 f(x) 是 区 间 [a, 5] 上 的 可 积 函 数 , 则 复合 梯形 公式 (7. 23) 具 有 收敛 性 , 即 

limT, = 1(/). 

根据 复合 梯形 公式 的 几何 意义 (图 7-3), 易 知 它 对 于 f(x) = 二 x? 的 积分 是 不 准确 的 , 因 
此 具有 一 次 代数 精度 . 下 面 考虑 它 的 积分 余 项 . 

在 小 区 间 [zi ze] 上 梯形 公式 的 积分 余 项 为 一 筷 /"( 丈 ) ,对 & 一 0,1,…，, 7 一 1 对 应 的 
n 段 积分 求 和 ,得 


ml 
St 办) 
,4=0 


n 


I(f) ge 5 [和 大 ) |= 前 
= i 三 
2 12 


有 h: (bp— a) 1 


= (7. 24) 
其 中 ,7E (a,0). 这 最 后 一 步 推导 用 到 连续 函数 的 “中 值 定理 ”, 即 当 f(x)E CLa,b] 时 , 必 


DF Cm) 
定 存在 小 使 AD) = 汪 一 . 


下 面 定义 等 距 节点 求 积 公式 的 准确 度 阶 数 , 更 明确 地 区 分 不 同 公式 的 误差 大 小 . 

定义 7.5: 车 一 个 等 距 节 点 求 积 公式 的 截断 误差 为 OC(17?) 小 量 ,h 为 节点 间距 , 则 称 该 
方法 具有 p 阶 准 确 度 (order of accuracy). 

根据 余 项 公式 (7. 24) ,可 以 看 出 复合 梯形 公式 具有 2 阶 准确 度 . 一 个 求 积 公式 的 准确 
度 阶 数 越 高 , 则 随 着 h 的 减 小 其 结果 误差 减 小 的 速度 就 越 快 . 


7.3.2 复合 辛普森 公式 
类 似 于 复合 梯形 公式 ,对 每 个 小 区 间 [Lz ,z+1] 使 用 辛普森 公式 便 得 到 复合 辛普森 公式 : 
nl 
5. —S DI LfCm) + 4f Grend) + Flom)] 
k=0 
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ml nl 
ee [f(a) DC DC C26 
k=0 k=1 


注意 在 公式 (7. 25) 中 ,f(xt4) 表 示 各 个 小 区 间 中 点 的 函数 值 ,而 f(a) 十 2 了》) fx) 十 了 (0) 


也 是 复合 梯形 公式 也 所 要 计算 的 . 

公式 (7.25) 表 明 , 复 合 辛普森 公式 属于 机 械 求 积 公式 ,并 且 是 稳定 的 . 实际 上 , 它 是 利 
用 分 段 二 次 函数 插值 近似 被 积 函 数 得 到 的 求 积 公 式 . 同样 可 以 证 明 , 复 合 辛普森 公式 具有 
收 傅 性 ,以 及 三 次 代数 精度 . 

根据 辛普森 公式 的 积分 余 项 (7.21) ,可 推导 出 复合 辛普森 公式 的 积分 余 项 为 


bY 下 4 4 4 
I(f)—S. = 28807 (6b—a).。 ff (77) =OQhY. C7 26) 
可 以 看 出 ,复合 辛普森 公式 具有 4 阶 准 确 度 ,因此 它 的 截断 误 表 7-2 /xz) 函 数值 
差 衰减 速度 比 复合 梯形 公式 快 得 多 . - Re 
例 7.4( 复 合 求 积 公式 ): 要 计算 积分 6 
I= 人 Smzdr， 1/8 0.997 397 8 
ee 1/4 0.989 615 8 
已 知 2 一 8 对 应 的 区 间 等 分 点 上 的 被 积 函 数值 Re | 
( 列 于 表 7-2) , 求 复合 梯形 公式 及 辛普森 公式 的 结果 ,并 估计 1/2 0.958 851 1 
误差 . 5/8 0.936 155 6 
【 解 】 将 积分 区 间 [L0,1j 划 分 为 8 等 分 ,应 用 复合 梯形 法 3/4 0. 908 851 7 
求 得 7/8 0. 877 192 6 
Ts = 0. 945 690 9. 1 0. 841 471 0 


将 积分 区 间 4 等 分 ,应 用 复合 辛普森 法 有 
S4 = 0. 946 083 3. 


为 了 利用 余 项 公式 估计 误差 ,要 求 /(z) 一 并 = 的 高 阶 导数 ,考虑 到 


1 m 1 
Zr) = Sz 一 | cos(21)di, 
这 0 


则 
电 


1 
Je (Cz) 一 | rcosa) dt 一 | teos(at 十 至 )d 


于 是 


jl 
开业 本 | dt; 
0 


cos (zt 十 香 ) | 


1 

ma | FCe) 图] 

o<x<1l 0 

可 得 复合 梯形 公式 的 误差 估计 


2 
Nr pl max | f(z) | 


De 


从 


二 (二 ) = 


对 复合 辛普森 公式 估计 误差 ,可 得 
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ee (+) 3 0. 271 X 10- 
“880( l 


上 述 分 析 说 明 ,复合 辛普森 公式 比 复合 梯形 公式 的 准确 度 高 得 多 . 事实 上 ,积分 的 准确 
值 约 为 IT 一 0. 946 083 07 ,与 它 比 较 , 复 合 梯形 法 的 结果 Ts 二 0.945 690 9 只 有 两 位 准确 的 有 
效 数 字 ,而 复合 辛普森 法 的 结果 Ss ==0.946 083 3 却 有 6 位 有 效 数字 . 两 种 复合 求 积 公式 都 
使 用 9 个 点 上 的 函数 值 ,计算 量 基本 相同 ,然而 精度 却 差 别 很 大 . 国 

除了 复合 梯形 公式 、 复 合 辛普森 公式 ,还 可 根据 柯 特 斯 公式 (7. 18) 得 到 复合 柯 特 斯 
公式 . 


7.3.3 步 长 折 半 的 复合 求 积 公式 计算 


由 于 积分 余 项 公式 包含 被 积 函数 的 高 阶 导 数 ,并 且 使 用 它 往往 高 佑 误差 ,对 一 般 的 积分 
问题 往往 不 能 用 它 来 估计 误差 ,更 不 能 通过 积分 余 项 确定 复合 求 积 公 式 的 步 长 h. 为 了 自 
动 地 确定 复合 求 积 公式 的 步 长 ,以 满足 结果 准确 度 的 要 求 ,实际 算法 常常 逐渐 减 小 步 长 多 次 
计算 复合 求 积 公 式 ,直至 结果 达到 预定 要 求 . 减 小 步 长 一 般 采 用 步 长 折 半 的 做 法 ,这 样 可 利 
用 已 计算 出 的 函数 值 从 而 减 小 计算 量 . 

首先 看 看 步 长 折 半 后 复合 梯形 公式 的 计算 . 考虑 将 原来 的 每 个 小 区 间 二 等 分 得 到 
272 个 小 区 间 ,增加 了 积分 节点 zt, (CR 一 0, ,7 一 1), 记 步 长 折 半 后 的 复合 梯形 值 为 
Tz 此 时 ,原来 的 区 间 [xi ,zer1j] 相 当 于 两 个 小 区 间 , 对 它 用 复合 梯形 公式 算出 积分 近 
似 值 为 


Lf ) 十 FCzud )] 十 [fms Ca 


= 到 | 公 fcao + zeo7] 片 千 /Get)， 


将 了 革 个 小 区 间 [zsyzeij,e 一 0,…,2 一 1 的 结果 相 加 ,整理 后 得 到 
1/h-, i 二 
= 和 (zf 二 Ftwmi)] 乒 生 到 feed) 
> T= 入 T, + fmt). 《2 
公式 (7. 27) 表 明 ,计算 积分 步 长 折 半 后 的 复合 梯形 公式 可 方便 地 利用 折 半 前 的 结果 T, ,只 
需 对 新 增加 的 积分 节点 再 计算 函数 值 . 公式 (7. 27) 称 为 递 推 化 的 复合 梯形 公式 ,利用 它 能 


o 计算 5, 用 到 的 积分 节点 快速 地 更 新 步 长 折 半 后 的 复合 梯形 值 . 
2 计算 5 新 增 的 积分 节点 对 于 复合 辛普森 公式 , 步 长 折 半 前 后 的 5, 和 


2 一 一 和 Sw 并 不 具有 像 式 (7. 27) 那样 的 简单 关系 ,但 如 

et 图 7-4 所 示 , 计 算 Ss, 时 原来 积分 节点 处 的 函数 值 仍 

图 7-4 步 长 折 半 的 复合 辛普森 公式 。 可 以 重用 ,只 需 再 计算 2n 个 新 增 节点 处 的 函数 值 . 

用 到 的 积分 节点 与 上 述 两 种 公式 不 同 ,中 和 矩形 公式 计算 区 间 中 

点 处 的 函数 值 , 由 它 导 出 的 复合 求 积 公 式 在 步 长 折 半 时 无 法 重用 已 有 的 结果 . 因此 ,虽然 中 
矩形 公式 与 梯形 公式 的 精度 阶 数 相同 ,在 实际 应 用 中 却 较 少 使 用 . 


。 249 。 


数值 分 析 与 算法 (第 2 版 ) 


7.4 Rombersg 积分 算法 


本 节 基 于 复合 梯形 公式 的 余 项 展开 式 ,推导 一 种 快速 收敛 的 Romberg( 龙 贝 格 ) 积 分 算 
法 . 该 算法 利用 理 查 森 外 推 得 到 更 高 阶 精度 的 求 积 公式 ,从 而 以 较 小 的 计算 量 得 到 较 准确 
的 结果 . 


7.4.1 复合 梯形 公式 的 余 项 展开 式 


首先 给 出 一 个 有 关 复 合 梯形 公式 积分 余 项 的 定理 , 它 得 到 复合 梯形 公式 的 余 项 展开 式 ， 
是 Romberg 算法 的 基础 . 
定理 7.5: 设 被 积 函 数 f(z) 定义 在 区 间 [a, 5] 上 , 且 任 意 阶 导数 连续 ,T(h) 为 积分 步 长 
为 的 复合 梯形 公式 的 结果 ,hh 二 (5 一 a)/n, 则 有 展开 式 
T(h) = I(f) + 二 ht 十 … 十 arh* 十 …， (7. 28) 
其 中 ,系数 a,(1 二 1,2,…) 与 无关 . 
【证 明 】 将 f(x) 在 子 区 间 [ x ;ZA+1j 中 点 zi 处 做 泰勒 展开 ,有 


f(z) = fay fir— ray) 1 ot (一 zt 和)2 十 … (7. 29) 


为 了 记号 简便 ,这 里 用 故人 表示 m 阶 导数 了 (zit3) ,例如 As 计生 分 别 代表 点 zi 
处 的 1 阶 和 2 阶 导数 . 分 别 将 x 三 x444 一 h/2 和 zx 二 zt4 十 h/2 代入 上 式 , 就 得 到 f(z) 和 
了 (za+1) 的 展开 式 , 两 者 相 加 得 到 


天 二 二 人 
所 以 ， 
. Nw 1 
和 [feD 十 Gen 一 1 十 在 (全 ) 7 二 在 (本 ) /各 十 … 


7 一 1 


由 于 复合 梯形 公式 TCh) 一 》) 多 [f(zs) 十 (zen)], 得 到 如 下 展开 式 ， 


TCD = RD fur 邦人 ) SA + 者 (人 ) D+ (7. 30) 
另 一 方面 ,对 f(z) 的 展开 式 (7. 29) 在 区 间 [z A 得 
网 f(z) dr = Are 和 2(4) OE (区) i 


而 积分 1(/) = | f(z)dz 为 各 个 子 区 间 上 积分 的 总 和 ,因此 ， 


| 二 二 a 
ji 时 1 hs 
TD = We 
比较 公式 (7. 30) 公式 (7. 31) ,得 


2,._h Tm, 4 
I | 


由 于 式 (7. 32) 中 的 z+ 处 的 各 阶 导数 与 hn 有关 ,还 需 进一步 处 理 . 考虑 对 了 (x) 构造 类 似 
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公式 (7. 29) 的 展开 式 ,然后 在 各 个 小 区 间 求 积分 再 求 和 ,可 得 到 类 似 于 式 (7. 31) 的 结果 


| Fwdr = nS fost i Sto + Fr + a 
利用 式 (7. 33) 消 去 式 (7.32) 中 的 S pr,; ,并 考虑 到 大 (0) 一 Fa) 一 [ 六 (x)dzx, 得 
k=0 a 
本 | 入 h? k / 
= (Wf a)] 


二 cahs > + ceh’ Sy + 
其 中 ,ct cs 等 参数 为 常数 . 类 似 地 ,对 90x) 构造 展开 式 并 求 积分 ， 然后 做 相应 处 理 后 可 替 
换 掉 上 述 公 式 中 的 3,.7 依 此 类 推 ,最 终 得 到 表达 式 
TOh) =ICf) 十 ELF Dm fF NR +ELF 0D) Cm— (a)jht++ 


+ CL fe C0) Oo— fe (Ca) jh* 十 …， (7. 34) 
其 中 ,cu (k= 二 1,2,…) 为 常数 . 
设 w 王 cxLF2 7 (CO 一 5 (a)j, 它 是 与 无 关 的 量 , 则 根据 式 (7. 34) 原 命题 国 


7.4.2 理 查 森 外 推 法 


基于 复合 梯形 公式 的 截断 误差 展开 式 (7. 28), 可 以 得 到 更 高 阶 准确 度 的 求 积 公式 ， 这 

里 需要 使 用 理 查 森 外 推 (Richardson extrapolation) 技 术 . 另外 ,为 了 自动 确定 合适 的 区 间 分 

段 数 ,可 将 积分 区 间 逐 次 二 等 分 逐渐 提高 结果 的 准确 度 . 为 了 表达 方便 ,做 如 下 符号 约定 . 

若 步 长 /一 (0 一 a)/ 2 ,对 应 的 复合 梯形 公式 计算 结果 记 为 Ti” ,每 个 小 区 间 二 等 分 后 , 步 长 

变 为 (0 一 a)/2"t1! ,相应 的 复合 梯形 公式 结果 为 TD 王 T(CAV2) ,这 里 的 下 标 0 代表 未 经 过 

外 推 的 原始 复合 梯形 公式 . 此 外 ,将 工 亡 简 记 为 工 

根据 定理 7.5, 步 长 折 半 前 后 两 个 复合 梯形 公式 的 误差 分 别 为 

TC—IT= ah’ 二 aht ++, CV 3D 


(rt) To 02p4 Sn 
To a 十 16” 3 (7.36) 
将 式 (7. 36) 乘 以 4 再 减 去 式 (7. 35) ,然后 将 结果 除 以 3, 得 到 


02 
dT 
3 3 


即 
4T8 一 Ti 
3 
这 说 明 (4T8"+? 一 TS )/13 是 具有 更 高 阶 准确 度 的 求 积 公式 . 这 种 通过 将 不 同步 长 对 应 
果 做 线性 组 合 得 到 更 高 阶 准 确 度 结果 的 做 法 就 是 理 查 森 外 推 . 
将 上 述 一 次 外 推 的 结果 记 为 TI”, 则 


(rzrH) (zz) 
一 一 一 ， (7. 37) 


下 4 十 … 二 O(h). 
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容易 看 出 它 的 截断 误差 具有 下 述 展开 式 
TY T= Bh +Bh +., (7. 38) 

其 中 ,系数 (1 二 1,2,…) 与 无 关 . 

事实 上 ,TI” 就 是 区 间 等 分 为 2" 个 小 区 间 后 采用 复合 辛普森 公式 的 结果 ,具体 的 证 明 
留 给 读者 思考 . 这 里 应 注意 的 是 ,计算 TI” 的 过 程 不 同 于 直接 计算 复合 辛普森 公式 , 它 首 先 
利用 复合 梯形 法 的 递 推 化 过 程 算出 To”、T8”*? ,然后 根据 公式 (7. 37) 算 出 TI”. 

上 述 计 算 TY” 的 理 查 森 外 推 技 术 可 针对 不 同步 长 对 应 的 TI” 继 续 应 用 ,构造 出 更 高 阶 
准确 度 的 求 积 公 式 , 这 就 得 到 下 面 的 Romberg 算法 . 


7.4.3 Romberg 算法 


当 积分 区 间 逐 次 二 等 分 时 ,可 得 到 一 系列 复合 梯形 公式 的 计算 结果 1T8 ,TS ，…， 
Ti ,… 力 称 其 为 梯形 值 序列 . 按照 式 (7. 37) ,将 梯形 值 序列 中 相 邻 两 个 值 做 线性 组 合 产生 
的 值 序列 记 为 {Tf”}. 公式 (7.38) 表 明 ,Tf” 值 序列 误差 展开 式 的 首 项 是 Bh , 则 从 Ti” 值 
序列 两 个 相 邻 值 的 如 下 线性 组 合 得 到 Tg” 值 序列 
16Tf 一 Th 


TY = (7. 39) 
其 误差 展开 式 为 
T 铝 一 [= 为 大 十 为 三 十 … 一 O01). (7. 40) 
依 此 类 推 ,可 继续 构造 T3” 值 序列 、Ts” 值 序列 等 . 它们 的 积分 误差 满足 如 下 公式 : 
T 包 一 TI= Oh), (k= 0,1,.). 《7.41) 
而 由 Tt ”Te ”得 到 了 如 :的 外 推 公式 为 
名 -人 了 一 (7. 42) 


可 以 证 明 ,T2” 值 序列 是 区 间 逐 次 二 等 分 的 复合 柯 特 斯 公式 的 结果 . 但 对 于 二 2 的 
Tw” 值 序列 , 它 不 再 是 某 个 牛顿 - 柯 特 斯 公式 对 应 的 复合 求 积 公式 . 并 且 , Th”(k 宇 0) 是 机 械 
求 积 公 式 , 且 其 积分 系数 均 大 于 0, 因此 是 稳定 的 . 进一步 推导 可 得 

TR —I = aLfe (BD) 一 et Ga) jp? + 

其 中 ,ci 为 常数 . 这 说 明 求 积 公式 Th?” 具 有 2k 十 1 次 代数 精度 . 关于 求 积 公式 Th?” 的 收敛 
性 ,有 如 下 定理 . 

定理 7.6: 若 被 积 函 数 f(x) 充分 光滑 , 则 在 区 间 逐 次 二 等 分 的 复合 梯形 公式 基础 上 外 
推 得 到 的 Ti” 值 序列 满足 

(GD limTh =1,k=0,1,. 

(2) limTh? =L. 

对 定理 7.6 的 证 明 不 做 讨论 ,只 需 理解 其 含义 . 结论 (1) 说 明 当 积分 节点 数目 趋 于 无 穷 
时 ,Ti 一 定 收 敛 到 准确 的 积分 值 , 即 求 积 公 式 Ts” 具有 收敛 性 . 结论 (2) 说 明 随 着 理 查 森 
外 推 的 级 别提 高 ,积分 值 的 序列 也 收敛 到 准确 值 . 

综 上 所 述 ,Romberg 求 积 算法 的 计算 过 程 可 通过 表 7-3 来 表示 , 按 从 上 到 下 的 顺序 逐 行 
计算 . 算法 7. 1 给 出 了 Romberg 求 积 算法 的 描述 . 
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表 7-3 Romberg 求 积 算法 计算 过 程 表 


下 TI 和 TT Ee 
b—a Te 
b—a TO To 
2 
oe T® >TD 
b—a (3) 2) 0) 
- 过 一 也 >T 
8 
所 TV —TI? 一 TD 一 TY 


算法 7.1: Romberg 积分 算法 . 
输入 : 被 积 函 数 f, 区 间 [a, 5]; 输出 : 积分 值 工 
h :=b—a; 


n :=0; 
T := 人 Ef) +f 


Repeat 
根据 递 推 化 的 复合 梯形 公式 (7.27) 计 算 Te”?; 
利用 公式 (7. 42) 逐 个 计算 表 7-3 第 n 十 2 行 的 外 推 值 : TI” ,Tap ; 
n :一 7 十 1; 
h :=h/2; 
Wt se 
1 


根据 定理 7.6 的 结论 (2), 算 法 7. 1 使 用 相 邻 两 个 积分 近似 值 之 差 作为 判断 收敛 的 依 
据 ,e 为 误差 阔 值 . 

Romberg 积分 算法 思想 可 概括 为 :“ 以 复合 梯形 求 积 公式 的 误差 展开 式 ( 定 理 7. 5) 为 
依据 ,在 形成 步 长 逐次 减 半 的 梯形 值 序列 的 同时 ,通过 理 查 森 外 推 法 构造 收敛 阶 更 高 的 值 序 
列 ”. 它 具 有 如 下 特点 . 

(1) 逐次 二 等 分 积分 区 间 . 

(2) 仅 使 用 复合 梯形 公式 T, 及 其 弟 推 计算 公式 ,以 及 外 推 计算 公式 . 

(3) 具有 远 高 于 2 阶 的 准确 度 . 

(4) 通过 相 邻 级 别 的 外 推 值 之 差 作为 循环 的 判 停 准则 ,得 到 足够 准确 的 积分 结果 . 

例 7.5(Romberg 积分 算法 ): 用 Romberg 算法 计算 例 7.4 中 的 积分 , 循环 结束 国 值 设 
为 10- 

【 解 】 使 用 Romberg 积分 表 ( 也 称 为 “ 工 数 表 ”) ,计算 结果 如 表 7-4 所 示 . 
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表 7-4 Romberg 积分 表 


TY 


0.920735 5 


0.939 793.3 0.946 145 9 


0.944 513 5 0.946 086 9 0.946 083 00 


从 表 7-4 中 可 以 看 出 ,经 过 两 次 步 长 折 半 后 计算 出 Ts?, 即 满足 条 件 退 出 循环 ， 此 时 的 
结果 与 准确 值 [一 0.946 083 07 非常 接近 . 回顾 例 7. 4, 复 合 辛普森 公式 的 结果 Ss 需要 计算 
9 次 函数 值 ,而 Romberg 算法 只 需 计 算 5 次 函数 值 就 得 到 了 更 准确 的 结果 . 国 

关于 Romberg 算法 ,应 注意 的 是 定理 7. 5 要 求 被 积 函数 f(x) 充 分 光滑 , 当 这 个 条 件 不 
满足 时 ,定理 7.5 的 展开 形式 虽然 成 立 , 但 系数 w 可 能 是 无 穷 大 的 量 . 此 时 ,Romberg 算法 
得 到 的 高 阶 外 推 值 未 必 更 准确 ,下 面 的 例题 体现 了 这 一 点 . 


例 7.6: 用 Romberg 算法 计算 积分 工 一 | dz 

【 解 】 /(z) 一 za 在 [0,1] 上 仅 是 一 阶 导数 连续 ,用 Romberg 算法 计算 结果 如 表 7-5 
所 示 . 从 表 中 看 出 ,用 Romberg 算法 算 到 久 =1/25 时 的 准确 度 与 复合 辛普森 求 积 公式 一 样 . 
这 里 工 的 精确 值 为 0.4. 


表 7-5 用 Romberg 算法 计算 结果 


h Te PY Ts Ti 了 和 
1 0. 500 000 | 
L/2 0. 426 777 0. 402 369 国王 
Te 0. 407 018 0. 400 432 


> 


7/2 0.401 812 . 400 077 0.400 054 0.400 050 
天 0. 400 463 0. 400 014 0. 400 009 0. 400 009 0. 400 009 
Ly 2s 0.400 118 . 400 002 0.400 002 0.400 002 0.400 002 0. 400 002 


基于 上 述 分 析 ,使 用 Romberg 积分 算法 要 保证 计算 Ts” 值 序列 时 f(x)EC*[La,bj, 因 
此 在 一 些 实 用 的 Romberg 算法 中 会 对 这 一 点 进行 检查 55] . 


So 


7.5 自 适 应 积分 算法 


Romberg 求 积 算法 通过 逐次 外 推 得 到 具有 高 阶 准 确 度 的 求 积 公式 ,但 它 的 前 提 是 被 积 
函数 具有 充分 的 光滑 性 , 即 各 阶 导 数 均 连续 . 另 一 方面 ,Romberg 算法 使 用 的 积分 节点 在 整 
个 区 间 上 均匀 分 布 (总 数 约 为 2"), 当 积分 区 间 内 函数 值 变 化 较 大 时 其 计算 效率 不 高 ,本 节 
介绍 一 种 自 适 应 积分 方法 (adaptive quadrature method) , 它 能 自动 适应 各 种 被 积 函数 , 非 均 
匀 地 选取 积分 节点 ,计算 效率 很 高 ,而且 , 自 适应 积分 算法 只 做 一 次 理 查 森 外 推 ,适合 于 被 

。 254 。 


第 7 章 数值 积分 与 数值 微分 


积 函 数 光 滑 性 不 高 的 情况 . 
7.5.1 自 适 应 积分 的 原理 


自 适应 积分 包括 对 积分 节点 的 自动 选取 ,希望 利用 尽 可 能 少 的 函数 值 , 得 到 满足 精度 要 求 

的 积分 近似 值 . 定 积分 的 可 加 性 是 自 适应 积分 的 基础 ,假设 < 是 和 2 之 间 的 某 个 值 , 那 么 
[reodz= [rcodz+| fd, 

若 能 在 指定 的 误差 阔 值 内 对 等 号 右边 的 两 个 积分 分 别 计 算 ,那么 它们 之 和 也 将 是 满意 的 结 
果 . 如 果 两 个 积分 中 的 某 一 个 不 够 准确 , 则 可 以 将 它 递归 地 拆 分 为 更 小 区 间 上 的 积分 . 这 
样 得 到 的 算法 可 自动 适应 各 种 被 积 函 数 , 它 在 函数 值 变 化 剧烈 的 地 方 使 用 较 多 的 积分 节点 ， 
而 在 函数 值 变 化 平缓 的 地 方 使 用 较 少 的 积分 节点 . 

为 了 判断 一 个 区 间 是 否 还 要 细 分 ,通常 对 该 区 间 计 算 两 次 积分 ,将 两 个 结果 的 差 作 为 误 
差 估计 . 一 种 简单 的 做 法 是 使 用 辛普森 公式 和 复合 辛普森 公式 ,后 者 的 子 区 间 个 数 为 2, 相 
当 于 计算 步 长 折 半 前 后 的 复合 辛普森 公式 . 假设 S 和 Ss 分 别 代 表 辛 普 森 积分 和 复合 辛 普 
森 积分 的 结果 , 则 根据 式 (7. 26 )， 

下 

因此 ， 

S, 一 S 
15 
当 积 分 区 间 内 被 积 函 数 的 4 阶 导 数 变 化 不 大 时 ,上 述 近 似 相 等 关系 成 立 , 此 时 S, 一 S 
的 大 小 能 很 好 地 反映 5S; 的 截断 误差 . 将 这 个 误差 与 5S; 相 加 ,还 可 得 到 更 准确 的 积分 

近似 值 


I—S: 入 (7.43) 


S:—S 
TE 
事实 上 ,这 个 Q 就 是 对 S, 和 S 使 用 理 查 森 外 推 得 到 的 结果 ( 见 式 (7. 39)). 


7.5.2 一 个 具体 的 自 适应 积分 算法 


下 面 介绍 一 个 具体 的 自 适应 积分 算法 , 它 是 MATLAB 中 命令 quad 的 简化 版 本 . 这 个 
算法 使 用 辛普森 公式 和 复合 辛普森 公式 计算 同一 个 区 间 的 积分 ,根据 两 个 结果 的 差 是 否 小 
于 阔 值 判断 结果 的 准确 度 . 如 果 小 于 阔 值 ,使 用 公式 (7. 44) 算 更 准确 的 外 推 值 作为 积分 的 
结果 ,和 否则 将 积分 区 间 等 分 为 两 个 子 区 间 分 别 递归 地 执行 上 述 计算 过 程 . 

自 适应 积分 算法 很 容易 用 递归 程序 实现 ,下 面 给 出 MATLAB 程序 代码 1. 


Q= 5 二 (7.44) 


function [Q,fcount]=quadtx (F,a,b,tol,varargin) 

sF 为 函数 句柄 或 匿名 函数 ,表示 单 变量 被 积 函数 f(x) ,积分 区 间 为 [a,b],tol 为 误差 冰 值 ,默认 
值 为 le- 6. 

svarargin 表示 传 给 函数 F 的 额外 参数 . 返回 值 0 为 计算 出 的 积分 值 . 

s# 返 回 值 fcount 为 积分 计算 过 程 中 计算 f(x) 的 次 数 , 它 不 是 必需 的 参数 . 

EE el QI 生 二 TS50 二 四 瑟 

多 [Q, fcount]=quadtx (@ humps,0,1,1e-4); 
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if nargin<4 | isempty (tol) $ 设 置 默 认 的 tol 值 
tol=1.e-6; 
end 
c= (a+b) /2; s 计 算 simpson 公式 所 需 的 三 个 函数 值 


fa=F (a,varargin{:}); 
fc=F (c,varargin{:}); 


fb=F (b,varargin{:}); 


递归 调用 ,k 为 计算 函数 值 的 次 数 
[Q, k]=quadtxstep(F,a,b,tol,fa,fc,fb,varargin{:}); 
fcount=k+3; 


function [Q,fcount]=quadtxstep(F,a,b,tol,fa,fc,fb,varargin) 


Squadtx 使 用 的 递归 调用 子 程序 . 


h=b-a; 

c= (a+b)/2; 

fd=F((at+c)/2,varargin{:}); 

fe=F((c+b)/2,varargin{:}); 

Q1=h/6 * (fat4*fc+fb); $sSimpson 公式 的 值 
Q2=h/12x (fa+4x fd+2x fc+4x fe+fb); % 复 合 Simpson 公式 的 值 
if abs (Q2-Q1)<=tol 


Q =Q2+(Q2-Q1)/15; s 满 足 冰 值 条 件 ,返回 理 查 森 外 推 值 
fcount=2; 
else s# 对 两 个 子 区 间 递 归 地 计算 积分 


[Qa, ka]=quadtxstep (F,a,c,tol,fa,fd,fc,varargin{:}); 
[Qb, kb]=quadtxstep (F,c,b,tol,fc,fe,fb,varargin{:}); 
Q =Qa+t+Qb; 

fcount=ka+ kb+2; 


end 


自 适应 积分 算法 的 一 个 重要 问题 是 , 细 分 区 间 后 如 何 设置 误差 阔 值 才能 使 最 终结 果 达 
到 希望 的 准确 度 ? 由 于 子 区 间 长 度 为 原始 区 间 的 一 半 , 一 种 策略 是 将 国 值 减 小 一 半 ,此 时 如 
果 两 个 子 区 间 积 分 的 误差 都 小 于 tol/2, 那 么 它们 之 和 的 误差 必然 小 于 tol. 这 种 策略 并 不 是 
上 述 程序 所 使 用 的 ,因为 它 有 点 太保 守 了 . 首先 ,由 于 返回 结果 时 还 进行 了 理 查 森 外 推 , 实 
际 的 误差 比 国 值 小 得 多 . 其 次 ,两 个 子 区 间 的 误差 都 接近 国 值 的 情况 非常 少 ,往往 是 其 中 一 
个 接近 于 阔 值 ,而 另 一 个 要 小 得 多 . 因此 子 区 间 的 阔 值 仍 可 以 使 用 原始 的 tol, 如 上 述 程 序 
中 所 实现 的 . 

例 7.7( 自 适应 积分 ): 利用 quadtx 程序 ,计算 积 


: 1 | 1 . 
TEST (zz 一 0.9)2 十 0.04 6 Jaz. 


| 1 
Dy | > 
【 解 】 被 积 函 数 f(+) 一 一 93 二 0.01 1 Cx 一 0 9)70.04 


6, 实 际 上 是 MATLAB 中 
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内 置 的 一 个 函数 ,名 为 humps. 如 图 7-5 所 示 ,被 积 末 100 


数 在 z 一 0. 3 处 有 一 个 剧烈 的 尖峰 ,在 z=0.9 处 有 | 六 
一 个 比较 缓和 的 尖峰 . A 

使 用 quadtx 程序 计算 这 个 积分 的 命令 如 下 ( 假 “中 > 
设 阔 值 为 10-) 10 

>> [Q, fcnt]=quadtx (@humps, 0, 1, 1e- 4) a | 
得 到 结果 为 29. 8583 ,计算 函数 值 的 次 数 为 99 次 ， 5 05 区 
这 些 积分 节点 的 位 置 示 于 图 7-4 中 . 图 图 7-5 humps 函数 曲线 以 及 自 适应 积分 

上 述 例子 中 的 被 积 函数 实际 上 存在 原 函 数 , 可 计算 中 的 积分 节点 位 置 
以 解析 地 求 出 定 积分 值 为 ? 

Ta Te +11x—6 = 29.858 325 395 498 67. 


因此 ,针对 例 7.7 可 以 改变 自 适应 积分 中 的 误差 国 值 ,考察 积分 的 误差 与 阔 值 之 间 的 关系 . 
我 们 让 阔 值 从 10 10 逐渐 变 小 到 10 ,使 用 quadtx 程序 计算 上 述 积 分 ,观察 计算 函数 
次 数 以 及 误差 的 变化 情况 ,实验 结果 列 于 表 7-6 中 (fcnt 表示 计算 函数 值 的 次 数 ). 


表 7-6 ” 自 适应 积分 的 计算 量 与 误差 随 阅 值 变化 的 情况 


tol 计算 值 Q err err/tol 
OF 29. 833 284 441 748 63 一 2. 504e 一 02 =0.250 
Tom? 29. 857 914 446 299 48 一 4. 109e 一 04 一 0. 041 


OF 29. 858 342 992 376 36 69 1.760e 一 05 0.018 
LOT* 29. 858 324 444 375 43 93 一 9. 511e—07 一 0.010 
10™s 29. 858 325 515 486 43 1. 200e 一 07 0. 012 
10- 29. 858 325 401 940 41 6. 442e 一 09 0. 006 
=? 29. 858 325 394 998 19 一 5. 005e 一 10 一 0.005 
Fe 29. 858 325 395 526 31 2.763e 一 11 0. 003 
LO? 29. 858 325 395 496 03 一 2. 640e 一 12 一 0.003 
EO 29. 858 325 395 498 90 2. 274e 一 13 0. 002 
10" 1 29. 858 325 395 498 66 一 7. 105e 一 15 一 0. 001 
107 29. 858 325 395 498 67 0. 000e 十 00 0. 000 


从 表 7-6 看 出 , 随 着 指定 阔 值 的 减 小 , 求 被 积 函 数值 的 次 数 逐 渐 增 加 ,而 结果 的 误差 逐 
渐 减 小 . 并 且 对 于 这 个 例子 ,结果 误差 总 比 阔 值 小 得 多 . 


@ 计算 解析 积分 可 以 使 用 MATLAB、Mathematica 等 软件 的 符号 积分 功能 ,例如 MATLAB 中 的 命令 int. 
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针对 实际 问题 ,设置 自 适 应 积分 中 的 误差 阔 值 还 需要 一 些 经 验 和 技巧 . 例如 ,可 先 用 一 
种 简单 方法 对 积分 值 进 行 粗略 估算 (只 需 与 准确 值 同 一 个 数量 级 即 可 ) ,然后 可 根据 对 结果 
的 相对 误差 要 求 设 置 算法 中 的 误差 阔 值 . 另外 , 自 适 应 积分 虽然 在 实际 应 用 时 非常 有 效 ,但 


要 注意 避免 使 用 它 计算 不 连续 函数 的 积分 ,或 积分 不 存在 的 情况 ,例如 积分 | -LTdz 是 


存在 的 ,但 被 积 函数 并 不 连续 ,如 果 直 接 使 用 自 适 应 积分 算法 将 导致 间断 点 周围 出 现 大 量 的 
积分 节点 ,程序 运行 很 长 时 间 才 出 错 停止 . 因此 ,在 自 适应 积分 程序 中 最 好 加 入 对 这 些 特 殊 
情况 的 判断 . 


7.6 高 斯 求 积 公式 
高 斯 求 积 公式 是 积分 节点 非 均匀 分 布 的 插值 型 求 积 公式 , 它 可 以 达到 最 高 的 代数 
精度 
7.6.1 一 般 理 论 


前 面 介绍 的 牛顿 - 柯 特 斯 公式 基于 等 距 节点 的 多 项 式 插值 ,其 积分 节点 的 分 布 情况 是 确 
定 的 ,增加 节点 数目 可 提高 它 的 代数 精度 如果 不 假设 积分 节点 等 距 分 布 ,将 它们 也 作为 待 
定 参 数 , 则 可 以 构造 出 具有 更 高 代数 精度 的 求 积 公式 . 

考察 一 般 的 插值 型 求 积 公 式 卫 = DA ee), 积分 系数 和 积分 节点 一 共 是 22 十 2 个 
待定 参数 . 根据 定理 7. 1， 检查 当 被 积 函数 为 1,2， ”时 求 积 公式 的 准确 性 可 判断 它 的 
代数 精度 . 因此 ,可 列 出 如 下 联 立 方程 求 积分 节 pi 


f(x)=1, Da- 1 = dz， 


f(z)=2， >a 。 Xk 一 sh zdrs 


f(z)= 7”, 2 A Te = | Eda: 

一 般 可 列 出 2n 十 2 个 方程 ,唯一 地 确定 2n 十 2 个 参数 的 值 ,得 到 的 求 积 公式 至 少 具 有 2n 十 1 
次 代数 精度 . 这 种 具有 最 高 代数 精度 的 插值 型 求 积 公式 称 为 高 斯 求 积 公式 (Gaussian 
quadrature). 

定义 7.6: 车 形 如 = 站 Af Con) 的 求 积 公 \ 式 具有 2n 十 1 次 或 更 高 次 代数 精度 , 则 称 
为 (7 阶 ) 高 斯 求 积 公式 ,其 积分 节 点 称 为 高 斯 点 . 

例 7.8( 高 斯 求 积 公 式 ): 推导 计算 积分 

I= | far 

的 两 点 高 斯 求 积 公式 Gs (f)= 二 Aif(zi) 二 A, f(z;). 

【 解 】 令 求 积 公式 对 前 4 个 单项 式 精确 成 立 ,得 到 方程 组 
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1 
4+4=| Ld = 
一 1 


电 
Aizi 十 Azz? | zzdz 一 0 
-1 


, 5 
Aiz? 十 Asx? =| dz 一方 
—1 


We iy ee | edz 三 前 
解 这 个 非 线 性 方程 组 ,同时 要 求 x 、x; 均 为 实数 , 则 得 到 
zi =—1/V3, xz: =1/V3, A=1, A;=1. 
或 者 
zi = /V3; zs =—1/V3; Ai 
任 取 两 组 解 之 一 ,得 到 两 点 高 斯 求 积 公式 为 
G:Cf) = f(—1/V3) + f0/V3). 


| 
记 
> 
点 

| 


进一步 考察 发 现 , 该 公式 对 f(z) 三 x 的 积分 不 准确 ,因此 它 具 有 三 次 代数 精度 . 图 
为 了 讨论 的 一 般 性 ,可 将 待 求 的 积分 扩展 为 带 权 积分 
I = | reoocodr， 《7.5》 


其 中 ,p(x) 是 实 函 数 空 间 CLa, 6] 中 的 权 函 数 ( 定 义 6.2), 常 见 的 有 p(x) 二 1,p(x) 二 


有 0 等 情况 ， 对 于 带 权 积分 ,相应 的 求 积 公式 为 
= 


hy (7.46) 
k=0 


可 称 为 针对 权 函 数 p(x) 的 求 积 公式 . 这 种 近似 计算 积分 的 方法 相当 于 通过 积分 节点 和 积分 
系数 考虑 权 函 数 的 影响 ,因此 不 同 的 权 函 数 对 应 不 同 的 求 积 公式 ,而 在 应 用 它们 计算 积分 时 
可 达到 减 小 计算 量 的 效果 . 对 于 针对 权 函 数 的 求 积 公式 (7. 46) ,也 相应 地 有 插值 型 求 积 公 
式 、 代 数 精度 等 概念 . 并 且 , 当 f(z) 为 次 数 不 超 过 2n 十 1 的 多 项 式 时 求 积 公式 (7. 46) 都 能 
准确 地 计算 带 权 积分 (7.45), 则 该 公式 为 与 权 函 数 oCz) 对 应 的 高 斯 求 积 公式 . 

要 求 出 高 斯 求 积 公式 ,一 种 方法 是 根据 定理 7.1, 使 用 待定 系数 法 联 立方 程 求解 高 斯 点 
和 积分 系数 . 但 注意 需求 解 的 是 2n 十 2 阶 非 线 性 方程 组 , 当 nn 较 大 时 计算 量 很 大 ,或 者 难以 
求解 . 下 面 介绍 的 方法 先 确定 高 斯 点 的 值 , 再 求 对 应 的 积分 系数 . 先 看 一 个 定理 . 

定理 7.7: 设计 算 带 权 积 分 (7. 45) 的 插值 型 求 积 公式 为 式 (7. 46) ,其 积分 节点 x E 
[a,0j,(k 二 0,1,…,n), 则 式 (7.46) 为 高 斯 求 积 公式 的 充 要 条 件 是 : 以 积分 节点 为 零点 的 多 
项 式 w,ri(X) 二 (xX 一 ZX0) (TX 一 XI1) (XX 一 xz, ) 与 任何 次 数 不 超 过 nn 的 多 项 式 P(x) 在 区 间 
La, bj 上 带 权 p(x) 正 交 , 即 

[Povo wp dr =0. (7.47) 

【证 明 】 先 证 必要 性 , 即 假设 该 求 积 公式 为 高 斯 求 积 公式 ,证 明 式 (7. 47) 成 立 . 由 于 求 

积 公式 (7.46) 具 有 2n 十 1 次 代数 精度 ,注意 到 P(rz)w,ii1(zx) 为 次 数 不 高 于 2n 十 1 次 的 多 项 


式 , 所 以 
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， 5 
[Povom (Dp) de = SAP (ri)wrn (x2) = 0, 


k=0 


即 wr1(x) 与 任何 次 数 不 超 过 nn 的 多 项 式 P(z) 带 权 正 交 . 
再 证 充分 性 ,已 知 对 VPCz)EP,， [POVom ap) de 二 0, 要 证 求 积 公式 (7. 46 ) 为 


高 斯 求 积 公式 , 即 对 它 对 于 任意 被 积 函 数 f(x)EP,;i 的 积分 都 是 准确 的 . 首先 ,用 wri (zx) 
除 f(x) 得 到 
f(zx) = P(x)wrn (x) 十 QCz)， 
由 于 f(x)EPss+1; 则 上 式 中 P(x),Q, (xz) EP,. 在 积分 节点 处 ， 
f(x) = P(X wn (Ti) TT) = Q(X), (k= 0,.%,n), 
即 f(x) 与 余 式 Q,(z) 有 相同 的 函数 值 . 现在 来 看 f(z) 的 带 权 积 分 


b b b 
| repecodz =| Ps wom) drt | QCopCodz 


=| Q, Cp dr, 
由 于 式 (7. 46) 为 插值 型 求 积 公式 , 则 它 必 定 对 于 次 数 不 高 于 的 多 项 式 函数 准确 ,因此 
| ceecedz 一 FAQ, a) SA Cz). 

这 说 明 求 积 公 式 对 任意 的 f(x)E P+ 都 准确 ,因此 是 高 斯 求 积 公式 . 证 毕 . 图 

定理 7.7 为 求 高 斯 点 提供 了 依据 ,只 需 找 到 一 个 与 任何 次 数 不 超 过 的 多 项 式 P(z) 都 
带 权 正 交 的 nn 十 1 次 多 项 式 , 则 其 2 十 1 个 不 重复 的 零点 就 是 高 斯 点 . 很 自然 地 想到 第 6 章 
介绍 的 正 交 多 项 式 族 . 设 {go C7) ,… ,gs(z) ,grr1(z)) 为 [a, 站 上 关于 权 p(x) 的 正 交 多 项 式 
族 , 且 gj; (zx) 为 7 次 多 项 式 , 则 nn 十 1 次 多 项 式 pr1(zx) 就 是 我 们 所 需要 的 . 应 注意 ,6. 2.2 节 
曾 介绍 构造 正 交 多 项 式 的 Gram-Schmidt 正 交 化 过 程 ,以 及 正 交 多 项 式 的 几 条 性 质 ,其 中 ， 
性 质 ( 引 说明 pr1(x) 二 0 的 nn 十 1 个 根 均 为 区 间 (a, 5) 上 的 实数 , 且 均 为 单 根 . 这 正好 满足 
作为 高 斯 点 的 要 求 ,因此 求 正 交 多 项 式 gp,r1(x) 的 零点 即 得 到 高 斯 点 . 

求 出 高 斯 点 后 ,可 根据 插值 型 求 积 公式 的 系数 公式 (7.4) 求 积分 系数 , 即 

Ai = [up dr, (k= 0,",n), 

其 中 ,W(xz),k 二 0,… sn 为 节点 0,… ,zx 对 应 的 拉 格 朗 日 插值 基 函 数 . 

下 面 讨论 高 斯 求 积 公 式 的 稳定 性 、 余 项 和 收敛 性 . 由 于 阶 高 斯 求 积 公式 具有 2n 十 1 
次 代数 精度 , 若 被 积 函 数 f(x) 二 B(x),l (x) 为 nn 次 拉 格 朗 日 插值 基 函 数 , 它 也 是 准确 
的 , 即 

| coecodz 一 FA a) = A;, (= 0,1,.,n). 


显然 | 如 (zx)pCz)dzr > 0, 所 以 积分 系数 均 大 于 0, 高 斯 求 积 公式 是 稳定 的 . 
类 似 于 辛普森 公式 的 积分 余 项 ,有 如 下 关于 高 斯 求 积 公式 余 项 的 定理 . 
定理 7.8: 若 函 数 f(z) 足 够 光滑 , 则 高 斯 求 积 公 式 到 = 》) Atf (zx) 的 积分 余 项 为 
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， 
R,[L/f] =| ftajde— SV Af Ce) 
轩 k=0 


fy) 
i 
其 由 yoni 二 《2 一 (一 
证 明 的 思路 与 推导 辛普森 公式 的 积分 余 项 非常 类 似 ,要 利用 高 斯 求 积 公式 有 2n 十 1 次 
代数 精度 的 性 质 . 考察 满足 条 件 P(xi)= 二 f(xi),P' (zn) 二 了 (ze) (k= 二 0,…,n) 的 2n 十 1 次 
多 项 式 函 数 PCz) ,高 斯 积分 余 项 就 是 P(r) 一 了 (xz) 的 积分 注意 PCz) 实 际 上 是 针对 节点 
2z 十 2) 
,ozs 的 (zx) 的 高 次 埃 尔 米 特 插值 函数 ,其 插值 余 项 为 三 二 多 2nCz). 然后 使 用 第 
一 积分 中 值 定理 就 可 证 明 结论 ,详细 过 程 留 给 读者 思考 .值得 一 提 的 是 ,这 里 的 函数 wii(Cz) 
b 
为 正 交 多 项 式 ,| wb Cz)p(z)dz 实际 上 是 其 广义 2- 范 数 的 平方 (参见 第 6 章 有 关内 容 ). 


关于 高 斯 求 积 公式 的 收敛 性 ,不 加 证 明 地 给 出 如 下 定理 . 


b 
| win (XT)p(r) dr, 


定理 7.9: 设 f(z)EC[e,O, 则 高 斯 求 积 公式 也 = > Asf (zs) 是 收敛 的 , 即 
k=0 


b 
lim1, = | f(x)p(zx) dz. 


7.6.2 高 斯 - 勒 让 德 积分 公式 及 其 他 


7. 6.1 节 指出 ,高 斯 点 为 正 交 多 项 式 的 零点 ， 对 于 第 6. 2. 2 节 介 绍 的 各 种 正 交 多 项 式 ， 
相应 地 有 不 同 的 高 斯 求 积 公 式 . 我 们 重点 关注 勒 让 德 多 项 式 对 应 的 公式 , 它 的 积分 区 间 为 
[一 1,1], 权 函数 为 p(x) 二 1, 这 个 求 积 公 式 称 为 高 斯 - 勒 让 德 求 积 公 式 . 

求解 勒 让 德 多 项 式 对 应 的 方程 可 得 到 高 斯 - 勒 让 德 公式 的 积分 节点 ,然后 再 求 对 应 的 
积分 系数 . 实际 应 用 中 常常 预先 算出 这 些 值 ,如 表 7-7 所 示 ,应 注意 高 斯 - 勒 让 德 公式 的 积 
分 节点 是 关于 原点 对 称 的 ,而 互 为 相反 数 的 两 个 高 斯 点 有 相同 的 积分 系数 . 另外 ,n= 二 1 时 
的 高 斯 - 勒 让 德 求 积 公式 就 是 前 面 例 7. 8 中 求 出 的 结果 . 

表 7-7 高 斯 - 勒 让 德 求 积 公式 的 积分 节点 和 系数 


n Th A Tk A 
0 0.000 0000 2.0000000 士 0.906 1798 0.236 926 9 
1 士 0.577 350 3 1.000 000 0 二 人 
0.000 0000 0.568 888 9 
士 0.774 5967 0.555 555 6 
0.000 0000 0. 888 888 9 士 0.932 469 5 0.171 3245 
士 0.861136 3 0. 347 854 8 二 204 .00 T7616 
. +0.339 9810 0.652 145 2 士 0.238 619 2 0.467 913 9 
六 2 入 全 要 
对 于 一 般 区 间 上 的 积分 1 一 | /(x)dz, 可 通过 变量 代 换 将 其 转化 为 [一 1,1] 上 的 积分 ， 


再 利用 高 斯 - 勒 让 德 求 积 公式 进行 计算 ， 
例 7.9( 高 斯 - 勒 让 德 积分 ): 用 高 斯 - 勒 让 德 公式 计算 积分 1 = | samzdr, 将 结果 与 
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Romberg 积分 算法 做 比较 (结果 见 例 7. 5). 
【 解 】 设 一 0.5+0.54, 则 工 一 二 | ><dz, 根据 高 斯- 积 让 德 积分 表 可 先 计算 


li sin(0.5 十 0. 57) 
二 ”让 0. 死 
然后 再 得 到 工 的 值 . 假设 阶 高 斯 - 勒 让 德 积分 的 积分 节点 与 系数 分 别 为 ze,Ae (AR 一 0， 
1,… ,77), 则 


全 5 


下 三 yA, sin(0. 5 + 0.5x) 
k=0 


0.5 十 0. 5zx 
取 n=4, 根据 表 7-7 计算 出 1,, 进而 得 到 工 的 近似 值 工 = 五 /2 王 0.946 083 12, 与 例 7.5 的 
结果 相 比 ,高 斯 积分 使 用 同样 的 5 个 节点 ,但 结果 的 准确 度 比 Romberg 算法 更 高 . 国 


不 同 的 权 函 数 对 应 不 同 的 高 斯 求 积 公式 ,只 需求 出 相应 正 交 多 项 式 的 零点 即 得 到 相应 
的 高 斯 点 ,然后 再 求 积分 系数 . 例如 ,区 间 [ 一 1,1] 上 、 权 函数 p(x) 一 一 帮 二 志 的 求 积 公式 
为 高 斯 - 切 比 雪夫 公式 ,而 区 间 ( 一 -= ,十 ==) 上 、 权 函数 p(x) 二 e-* 的 求 积 公式 为 高 斯 - 埃 尔 
米 特 公式 ， 利 用 高 斯 - 埃 尔 米 特 公式 可 计算 形 如 工 一 | ”Caz)e” dz 的 无 界 区 间 积 分 , 它 在 
涉及 随机 属性 的 问题 中 应 用 较 广 ， 由 于 标准 正 态 分 布 的 随机 变量 X 遵循 的 概率 密度 函数 


为 N(O,1D) 一 2 e- 闻 ,可 用 高 斯 - 埃 尔 米 特 求 积 公式 计算 随机 函数 玉 (X) 的 数学 期 望 
nT 


J 9 1 -和 Se 1 2 
ELF(X)] =| F(x) e rqz—| F(V27x) 一 ez dz， 
= V27n = VT 


由 于 高 斯 积分 的 特点 ,对 于 较 高 次 的 多 项 式 函 数 F(z) 它 也 能 得 到 准确 的 结果 . 

计算 高 斯 求 积 公式 的 积分 节点 需 使 用 非 线性 方程 求解 算法 ,例如 牛顿 法 等 技术 .对 于 
高 斯 - 勒 让 德 、 高 斯 - 切 比 雪 夫 、 高 斯 - 拉 盖 尔 、 高 斯 - 埃 尔 米 特等 常用 公式 ,文献 [5j 给 出 了 计 
算 积分 节点 和 系数 的 程序 . 一 般 的 数学 手册 中 也 包括 这 些 积分 节点 和 系数 的 值 . 

一 旦 有 了 预先 计算 好 的 高 斯 点 和 系数 ,高 斯 积分 的 程序 编制 非常 简单 ,对 于 特定 的 应 
用 问题 ,常常 根据 经 验 可 定 出 合适 的 阶 数 nn, 因 此 用 高 斯 积分 可 达到 很 好 的 效率 与 准确 度 的 
折 中 . 然而 ,节点 数 不 同 的 高 斯 公式 一 般 没有 公共 节点 ,这 导致 与 一 组 节点 对 应 的 函数 值 在 
用 另 一 组 节点 计算 积分 时 不 能 被 利用 . 因此 有 人 提出 扩展 的 高 斯 积分 公式 ,它们 在 自 适应 
积分 .区 间 折 半 的 复合 积分 等 需要 两 组 求 积 公 式 的 场合 非常 有 用 . 

扩展 的 高 斯 积分 公式 的 基本 思想 是 限定 一 些 积 分 节点 的 位 置 ,再 确定 其 他 一 些 积 分 节 
点 和 所 有 积分 系数 使 整体 代数 精度 尽量 高 . 例如 ,Lobatto 公式 限定 区 间 端 点 为 积分 节点 ， 
这 样 的 nn 阶 公式 可 达到 2n 一 1 次 代数 精度 ; 另 一 种 Kronrod 公式 与 常规 的 高 斯 公式 成 对 使 
用 ,一 个 含 个 节点 的 高 斯 公式 与 22 十 1 个 节点 的 Kronrod 公式 对 应 . 通过 限定 使 用 这 
7 个 高 斯 点 ,然后 按 求 积 公 式 达 到 最 高 代数 精度 的 要 求 确定 其 他 2 十 1 个 节点 和 2n 十 1 个 系 
数 ,这样 得 到 的 Kronrod 公式 有 3n 十 1 次 代数 精度 站. 

在 介绍 了 各 种 数值 积分 方法 之 后 ,我 们 简单 讨论 二 维 、 三 维 积分 的 计算 . 实际 上 ,只 需 
将 多 重 积 分 写成 累 次 积分 的 形式 ,例如 : 


b fdlzr) 
Fs| 1 f(zx,y)dydr, (7.48) 
ay c(z) 
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则 可 以 使 用 前 面 介 绍 的 一 维 积分 方法 来 计算 . 假设 第 一 重 积分 使 用 形 如 2 Arg xi) 的 数 
值 求 积 公式 ,其 中 ,g(x) 为 被 积 函 数 , 则 式 (7. 48) 成 为 


I~ >a flris ydy, 


待 求解 问题 转化 为 若干 个 一 维 积分 的 计算 . 对 于 实际 问题 中 的 二 、 三 维 积分 ,为 了 提高 计算 
效率 ,常常 采用 高 斯 积分 方法 . 


应 用 实例 : 探 月 卫星 轨道 长 度 计算 


1. 问题 背景 

2007 年 10 月 24 日 18 时 05 分 ,中 国 第 一 颗 探 月 卫星 “嫦娥 一 号 ”在 西昌 卫星 发 射 中 心 
发 射 升 空 . 卫星 首先 进入 地 球 同 步 轨道 围绕 地 球 运动 ,轨道 为 通过 地 球 中 心 的 平面 上 的 椭 
圆 ( 见 图 7-6). 长 征 三 号 甲 运载 火箭 提供 给 卫星 在 近地点 的 速度 大 约 为 10. 3km/s. 这 一 速 
度 比较 低 , 不 足以 将 卫星 送 往 月 球 轨道 ,需要 将 速度 提高 到 约 10. 9km/s 才能 使 卫星 奔 向 月 
球 . 为 了 达到 奔 月 速度 ,需要 使 用 卫星 变 轨 调 速 技术 . 

根据 一 些 相 关 知 识 , 若 知道 卫星 的 近地点 、 远 地 点 距离 可 以 计算 卫星 轨道 的 周 长 , 这 是 
一 个 椭圆 积 分 问题 .进一步 ,车 知道 卫星 绕 地 球 运行 的 周期 ,还 可 计算 卫星 运行 的 平均 速度 
以 及 近地点 速度 ,验证 它 是 否 满足 奔 月 所 需 的 速度 要 求 . 

2. 方法 原理 

图 7-7 显示 了 卫星 轨道 平面 图 ,其 中 ,R 为 地 球 半 径 ,hi 为 近地点 距离 ,hs 为 远地点 距 
离 ,c 为 椭圆 焦距 . 根据 描述 天 体 运 动 规律 的 开 普 勒 第 一 定律 ,地 球 位 于 椭圆 轨道 的 焦点 上 . 
椭圆 的 曲线 方程 为 ( 设 椭圆 中 心 为 坐标 原点 ) 


Tr yy 
a 十 DO 


< 


图 7-6 地 球 与 人 造 地 球 卫星 轨道 图 7-7 卫星 轨道 平面 图 


其 中 ,@&、O 分 别 为 长 半 轴 长 度 和 短 半 轴 长 度 . 根据 图 7-7 易 知 ， 


有 十 hz 十 2R 
2 9» 


hz — hi 


6 三 及 十 民 一 人 三 5 


根据 椭圆 焦距 的 计算 公式 可 求 出 短 半 轴 长 度 
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要 求 栅 圆周 长 工 , 可 通过 积分 计算 ,做 变量 代 换 ,Z 一 acosg,y 王 psin0， 则 
| | er 人 TEST 
根据 它 可 计算 卫星 运动 的 平均 速度 v. 
要 计算 卫星 的 近地点 速度 , 需 使 用 开 普 勒 第 二 定律 的 知识 , 即 椭圆 轨道 上 运行 的 卫星 速 
度 不 是 常数 ,但 在 相等 时 间 内 卫星 与 地 球 连 线 所 扫 过 的 面积 相等 . 设 卫星 的 轨道 周期 为 工 ， 
由 于 椭圆 面积 为 rap, 则 单位 时 间 卫 星 与 地 球 连 线 扫 过 的 面积 为 


s = CO 
5 一 全 

根据 开 普 勒 第 二 定律 ,在 近地点 处 卫星 速度 最 大 ,为 
vv 一 25 

十 RR 


3. 数值 实验 

在 MATLAB 中 可 进行 数值 实验 ,计算 数值 积分 采用 命令 quad. 已 知 " 嫦 娥 一 号 ?卫星 
初始 轨道 的 近地点 距离 站 一 200km, 远 地 点 距离 加 二 51000km, 地 球 半 径 尺 一 6378km ,轨道 
周期 为 16 小 时 , 则 计算 轨道 长 度 和 近地点 速度 的 程序 如 下 : 


>>h1l=200; h2= 51 000; R=6378; 

>>a= (hl+h2) /2+R; 

>>c= (h2-h1) /2; 

>>b=sgrtla 2=C°2) 

Sf= (x) sqrt (a 2 cox) “2+b 2% oin(x) ee 2 
>>L=4*x quad (f, 0, pi/2) 

>>T=16* 3600; 

>>v=L/T 

>>vmax=2x* pix*x ax b/T/ (hl+R) 


计算 结果 显示 ,轨道 周 长 约 为 163 911km, 平 均 速度 为 2. 846km/s, 近 地 点 速度 为 
10. 302km/s. 在 默认 设置 下 ,quad 程序 计算 积分 时 算 了 149 次 函数 值 . 此 外 ,注意 上 述 程 
序 中 被 积 函 数 的 定义 , 它 使 用 了 匿名 函数 ,而 采用 逐 项 运算 符 也 是 很 必要 的 . 


7.7 数值 微分 


一 般 而 言 ,计算 函数 的 微分 是 一 个 敏感 的 问题 ,数据 的 小 扰动 可 能 使 结果 变化 很 大 .这 
一 点 和 积分 正好 相反 ,因为 两 者 是 互 逆 的 过 程 . » 


图 7-8 显示 了 一 个 函数 扰动 前 后 的 两 条 曲线 ,可 以 je 
看 出 ,两 个 函数 的 积分 值 变化 不 大 ,但 导数 却 差别 “| ya 
很 大 . 


数值 微分 一 般 是 利用 函数 在 离散 点 集 上 的 值 近 


似 计算 其 导数 ,基本 做 法 是 通过 插值 或 最 小 二 乘 拟 
图 7-8 扰动 前 后 的 两 条 函数 曲线 


ee 
x 
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合 得 到 光滑 且 便 于 求 导 的 近似 函数 ,然后 计算 近似 函数 的 导数 . 若 给 定数 据 带 有 干扰 , 需 使 
用 最 小 二 乘 拟 合 才能 得 到 较 准 确 的 结果 . 若 不 考虑 数据 扰动 , 则 使 用 插值 比较 方便 . 除了 
数值 微分 , 对 于 解析 式 已 知 的 函数 还 可 使 用 计算 机 程序 自动 求 导 的 方法 (automatic 
differentiation) , 它 将 被 求 导 函 数 看 成 一 些 简 单 函 数 的 组 合 ,然后 使 用 简单 函数 的 求 导 公 式 以 
及 链 法 则 得 到 解析 的 结果 . 已 有 一 些 有 效 的 自动 求 导 软件 包 ,这 方面 内 容 超出 了 本 书 范围 . 

下 面 介绍 几 种 简单 的 数值 微分 方法 ,它们 常用 于 处 理 表达 式 未 知 的 函数 ,也 是 微分 方程 
数值 解法 的 基础 . 


7.7.1 基本 的 有 限 差分 公式 


几 种 基本 的 近似 求 导 公式 可 通过 函数 的 差 商 导出 , 常 称 为 有 限 差 分 公式 (finite 
difference formula) ,它们 可 以 近似 理论 上 光滑 函数 的 导数 ,并 用 于 微分 方程 的 数值 解法 . 

给 定 一 个 光滑 函数 f:R 一 R ,要 计算 它 在 某 点 xz 的 1、2 阶 导 数 的 近似 值 ,考虑 该 点 和 
邻近 点 构成 的 1.2 阶 差 商 , 假 设 邻近 点 为 x 十 hh 和 Zz 一 hh 称 为 步 长 , 则 


ey A (7. 49) 

pe HA, (7. 50) 
1 

Ne A A es 人 (7. 51) 


2h 
由 于 差 商 与 函数 导数 的 关系 ( 式 (6. 63)) ,公式 (7. 49) 一 公式 (7.51) 都 可 用 于 近似 f(x), 其 
截断 误差 可 使 用 泰勒 展开 进行 分 析 . 考虑 泰勒 展开 式 


2 
flz++h) = f(r)+hf (zr)+ fx) 十 …， (C752 
2 
fx—h)= f(r)—hf (r)+ /2) = 《7.533 
则 
Di = FSD = f(r) + OWN), (7.54) 
Dt = (7.55) 


h 
这 里 将 式 (7. 49) 和 式 (7. 50) 分 别 记 为 Dj (1) 和 D， (h), 常 称 为 向 前 差分 公式 (forward 
difference formula) 和 向 后 差分 公式 (backward difference formula), 公 式 (7. 54)、 公 
式 (7.55) 表 明 它 们 都 具有 1 阶 准确 度 . 将 式 (7. 52) 减 去 式 (7.53) 再 处 理 , 得 到 


fh) f(z 一 A 
2h 


D.( 了 有 ) 称 为 中 心 差分 公式 (centered difference formula) 或 中 点 公式 , 它 具 有 2 阶 准确 度 . 
使 用 2 阶 差 商 ,得 到 2 阶 导 数 的 近似 公式 


G.(h) = 2f[z—h,r,zr+t+h] 


Dthy = f (x) + On’). (7. 56) 


人 4 


i 
1 ” 


GA(h) 称 为 2 阶 中 心 差分 公式 (2nd-order centered difference formula). 将 泰勒 展开 
式 (7.52)、 式 (7. 53) 相 加 ,整理 得 
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Gh) = f (x) + Oh), (2.58) 
因此 2 阶 中 心 差分 公式 也 具有 2 阶 准确 度 . 中 心 差分 公式 D.(h) 和 2 阶 中 心 差分 公式 
G.(h) 的 准确 度 阶 数 较 高 ,因此 比较 常用 . 

通过 减 小 h 的 值 可 减 小 上 述 差 分 公式 的 截断 误差 ,但 应 注意 , 当 h 很 小 时 舍 和 人 误差 对 最 
终结 果 也 有 较 大 影响 . 因此 ,并 非 越 小 结果 越 准 确 , 第 1 章 的 例 1. 4 就 说 明了 这 一 点 . 下 
面 再 举例 分 析 中 心 差分 公式 的 计算 误差 . 

例 7. 10( 中 心 差 分 的 计算 ) : 用 中 心 差分 公式 计算 f(x) 二 Vz 在 + 二 2 处 的 1 阶 导 数 ,并 
分 析 不 同步 长 h 取 值 对 结果 准确 度 的 影响 . 表 7-8 步 长 逐渐 减 小 时 中 心 差分 的 结果 

【 解 】 取 /一 0.1, 用 中 心 差分 公式 计算 


D.(h) 准确 数字 位 数 
Dhy “一 一 一 一 一 一 -一 -一 一 0. 353 554 495 5 6 
a ee 0. 353 553 401 6 6 
ee > 0. 353 553 3907 9 
为 了 分 析 不 同步 长 设置 下 中 心 差分 公式 的 和 
| 0. 353 553 390 6 9 
准确 度 ,计算 出 准确 的 导数 为 f (2) 二 一 一 0. 353 553 390 6 


2V2 

0.353 553 390 5. 可 看 出 取 /一 0.1 时 有 三 位 准确 

的 有 效 数 字 . 下 面 逐 渐 减 小 ,得 到 中 心 差分 结果 
列 于 表 7-8 中 (计算 采用 IEEE 双 精 度 浮 点 数 ). 

表 7-8 中 数据 说 明 , 当 户 减 小 到 一 定 程 度 

后 , 舍 入 误差 变 得 很 大 ,使 得 结果 的 误差 反而 

增 大 . 实际 上 ,假设 M 为 | (6) | 的 上 界 ,e 为 


.353 553 3899 


OO 


.353 553 3977 


忆 


Ss 


353 553 852 9 


So 


9 

7 

8 

.353 553 408 8 6 
6 

.353 550 5222 5 
3 


So 


.353 606 0333 


2 3 
计算 /(z) 的 误差 界 , 则 总 误差 限 为 eu 一 和 十 证, 可 估算 出 /一 /过 时 使 总 误差 sw 最 小 . 
进一步 分 析 知 Ms0. 075 36,ss10 “, 则 估算 出 误差 最 小 时 AS:1.6X10“, 这 与 表 7-8 显 
现 的 现象 基本 符合 . 加 
7.7.2， 插值 型 求 导 公式 


与 利用 差 商 构造 数值 微分 公式 不 同 , 可 根据 一 些 离散 点 上 f(x) 的 值 构 造 持 值 多 项 式 
PCz), 然 后 用 P(x) 的 各 阶 导数 近似 f(z) 的 各 阶 导数 . 这 种 方法 可 得 到 更 一 般 的 近似 求 导 
公式 ,它们 被 称 为 插值 型 求 导 公 式 . 

设 被 求 导 函数 f(x) 在 节点 zo,… ,zx 处 的 函数 值 为 f(zo),… ,f(x,) ,构造 nn 次 拉 格 朗 
日 插值 多 项 式 


P.,.(z) = pn 
其 中 ,L(x) 为 拉 格 朗 日 插值 苦 函数, 那么 


Por = 3 fC Cy a OE (i= Le) (7. 59) 
k=0 
其 中 ,1 (x) 的 计算 没有 实质 性 困难 . 
1. 两 点 插值 


设 拉 格 朗 日 插值 的 阶 数 2 二 1, 有 两 个 插值 节点 xo、zi( 设 二 zi 一 xo), 则 可 得 到 一 次 拉 
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格 朗 日 插值 多 项 式 


Pt = a) Fy 
Wo — Ml 


0 1 


= (zo) | 一 全 /Cn)， 


那么 ， 


By == ypay = (7. 60) 
h h 

当 并 取 值 为 ze 或 时 ,这 就 是 近似 了 (zx) 的 向 前 差分 公式 或 向 后 差分 公式 . 分 析 它 的 截断 

误差 可 利用 拉 格 朗 日 插值 余 项 公式 , 则 


ji 
7 ， 


1 


区 一 大 2 wnt1(X) 。d rorb 
f (0) -PD = + CFG) 
其 中 ,wri《X)= 二 (x 一 Xo0)…(X 一 Xx,)， 由 于 wsri(xx) 二 0, 则 
“nt1) 
A Se EE A me), (k = 0,.%,1). (7. 62) 
利用 式 (7. 62) ,有 
fC20)— Pim) 3 OO， (7. 63) 
f° (8) 


F(a) = Pr) R="OCRY. (7. 64) 


2 
这 分 别 是 向 前 、 向 后 差分 公式 的 截断 误差 ,与 公式 (7. 54) ,公式 (7.55) 的 结果 一 致 . 
2. 三 点 插值 
设 拉 格 朗 日 插值 的 阶 数 n==2, 三 个 等 距 插 值 节点 为 zo ,zi 二 zo 十 ,xz 二 xo 十 2h, 则 可 得 
到 二 次 拉 格 朗 日 插值 多 项 式 
(T= (= 


i) 十 yf 1) 


20 
汪 一 各 一 (zs)， 


(5 二 区 ao 一 2 
做 变量 代 换 x 二 zo 十 t， 有 
多 ye 六 让 二 F(t DEO—2) fr0) 14— 2) fm) + 中 一 1) Fezs Ys 
两 端 对 t 求 导 得 


SN 1 
时 Ps (ze + th) (: FT ) fx) (21 2)7(zD + (1 )f re) 


P,(x) = 


po 


> Ps(zx) = EP 十 太 ) 


Ga 0 (1—)f (2) 


所 (7.65) 
考察 在 各 捅 值 点 处 的 值 ,得 到 如 下 的 近似 求 导 公式 : 
Pi) 二 二 3jCzo) 十 41Cz) 一 jza)， 人 


2h 
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= 十 Fis) 
2h 


Pr) = 天 一 人 人 (7. 68) 


Ps (zi1) = C7 O79 


其 中 ,公式 (7. 67) 就 是 计算 了 (zi ) 的 中 心 差分 公式 , 它 少 计算 一 次 函数 值 . 利用 式 (7. 62) 可 
类 似 地 分 析 上 述 三 点 公式 的 截断 误差 ,结果 表明 它们 都 具有 2 阶 准确 度 . 
对 三 点 插值 函数 还 可 以 求 2 阶 甚至 高 阶 导数 . 例如 对 公式 (7.65) 再 求 一 次 导数 ,得 


py a ay = (7. 69) 


当 z==xi 时 ,这 就 是 近似 Fi) 的 2 阶 中心 差 分 公式 G.(h). 公式 (7.69) 也 可 近似 f” (zo) 
和 (xz), 通过 泰勒 展开 可 分 析 它 们 的 截断 误差 ,得 


Fm) ZH) fs) 
h’ 


fC = 十 O(h)，k&== 0,2. 


这 说 明 它们 仅 有 1 阶 准确 度 . 公式 (7.69) 近 似 f”(zxi) 时 的 准确 度 最 高 ( 即 2 阶 中 心 差分 )， 
具有 2 阶 准确 度 . 

从 上 述 讨论 看 出 ,只 需 增 加 插值 节点 即 可 构造 出 更 高 精度 或 求 更 高 阶 导数 的 近似 公式 ， 
而 对 于 节点 不 等 距 的 情况 ,用 多 项 式 插值 可 类 似 地 构造 出 适合 实际 问题 的 近似 求 导 公式 . 
更 复杂 的 数值 微分 方法 可 利用 三 次 样 条 插值 计算 近似 导数 . 


7.7.3 数值 微分 的 外 推算 法 


基于 中 心 差 分 公式 的 误差 展开 式 
f (x) — Dh) = a 二 toh 二 + 十 ah* 二 …， (7 70 
其 中 ,ork 二 1,2,…) 是 与 h 无 关 的 量 ,也 可 以 使 用 理 查 森 外 推 技术 得 到 更 准确 的 导数 值 . 
这 个 过 程 与 由 梯形 求 积 公式 外 推出 更 高 阶 的 近似 积分 公式 完全 类 似 . 假设 将 hh 变 为 h/2, 则 


大 


f(z)— Bl( 2 


三 Cig Q2 74 wa 
) i (7.71) 


根据 式 (7. 70) 和 式 (7. 71) ,得 


f(z) 


记 


3 
则 它 是 更 高 阶 准确 度 的 近似 求 导 公式 . 将 步 长 h 逐次 减 半 , 可 反复 进行 理 查 森 外 推 . 一 般 
地 ,车 记 D'o (4) 二 D, (1), 则 通过 公式 


a DD (#)- DCh) 
Cm) 二 一 00 
pd ea 和 ,Cn = 1,2,) (7.72) 


可 构造 出 高 阶 准确 的 值 序列 Do (4) ,其 近似 f(x) 的 误差 阶 为 OCnze"+D ). 
与 Romberg 求 积 算法 一 样 ,也 可 构造 逐次 外 推 的 数值 求 导 算法 . 但 应 注意 的 是 ,考虑 
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到 计算 中 的 舍 人 误差 ,外 推 的 次 数 m 不 能 太 多 ,否则 计算 D. (大) 时 由 于 步 长 太 小 造成 很 大 


的 舍 人 误差 ,而 且 计算 量 也 会 成 比例 增 大 . 
例 7. 11( 数 值 微分 的 外 推 计算 ) : 用 逐次 外 推 的 方法 计算 f(z) 二 zx?e “在 x+ 二 0.5 处 的 
【 解 】 依次 取 风 王 0.1,0. 05.0.025 计算 中 心 差分 的 值 D.(0. 1)、D.(0.05)、D.,(0.025)， 
类 似 于 Romberg 求 积 算法 使 用 的 工 数 表 , 可 将 结果 以 及 根据 式 (7.72) 得 到 的 外 推 值 列表 
显示 . 做 两 级 外 推 得 到 如 表 7-9 所 示 结 果 : 
表 7-9 做 两 级 外 推 得 到 的 结果 


h D. (h) DRy Dpy 


0.1 0.451 604 908 1 


0.05 0.454 076 169 4 0.454 899 923 1 


0. 025 0.454 692 628 8 0.454 898 115 2 0.454 897 9947 


了 (0.5) 的 准确 值 为 0.454 897 994 8, 因 此 及 =0.025 的 中 心 差分 结果 有 三 位 准确 的 有 效 数 
字 , 外 推 一 次 后 的 结果 有 5 位 准确 数字 ,而 外 推 两 次 达到 9 位 正确 的 有 效 数字 . 国 

应 当 指 出 , 理 查 森 外 推 方 法 是 很 普遍 的 方法 ,例如 ,根据 不 同步 长 对 应 的 向 前 差分 结果 
也 可 以 通过 外 推 提高 准确 度 . 上 述 讨 论 中 考虑 中 心 差分 公式 ,是 因为 它 有 更 高 阶 准 确 度 , 因 
此 外 推 后 的 结果 也 更 准确 . 


评 述 


1676 年 ,牛顿 在 给 莱 布 尼 效 的 信 中 提出 了 基于 等 距 节点 多 项 式 插 值 的 求 积 思想 . 
1711 年 , 柯 特 斯 系统 地 研究 了 牛顿 的 方法 ,给 出 了 点 数 不 超 过 10 的 所 有 牛顿 - 柯 特 斯 公式 . 
1743 年 ,辛普森 发 表 了 以 他 名 字 命 名 的 求 积 公式 ,实际 上 在 这 之 前 柯 特 斯 等 其 他 人 已 对 该 
公式 有 所 了 解 . 高 斯 提出 ,选择 积分 节点 的 最 佳 位 置 可 以 得 到 更 准确 的 求 积 公式 ,并 于 
1814 年 发 表 了 首 个 高 斯 求 积 公式 . 1927 年 ,Richardson 提出 了 以 他 名 字 命名 的 外 推 方法 ， 
1955 年 Romberg 将 它 应 用 于 数值 积分 中 ,得 到 Romberg 求 积 算法 . 第 一 个 自 适 应 求 积 
序 由 McKeeman 于 1962 年 发 表 . 1964 年 ,Kronrod 提出 了 一 种 求 积 公式 ,后 来 得 到 较 广 泛 
的 应 用 . 

本 章 讨 论 的 数值 积分 方法 主要 针对 一 元 也 数 , 与 之 相关 的 还 有 如 下 一 些 内 容 . 

(1) 一 维 表 格 函 数 积 分 与 广义 积分 . 前 者 通过 离散 数据 点 的 插值 函数 计算 积分 ,常用 
的 是 分 段 线性 插值 和 样 条 插值 ;后 者 包括 被 积 函 数 无 界 和 积分 区 间 无 界 两 种 情况 ,一 种 做 法 
是 通过 变量 代 换 去 掉 奇 异 点 或 将 无 界 区 间 变 为 有 界 区 间 , 另 一 种 做 法 是 多 次 计算 有 限 区 间 
的 积分 ,结合 外 推 方法 近似 广义 积分 . 

(2) 使 用 高 斯 求 积 公 式 的 自 适应 积分 . 这 需要 将 高 斯 积分 的 思想 加 以 扩展 ,比如 前 面 
提 到 的 Lobatto 公式 和 Kronrod 公式 . 自 适应 积分 需要 一 对 求 积 公式 ,它们 的 差 将 作为 误 
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差 估计 ,而 且 为 使 函数 调用 次 数 最 少 , 求 积 公式 之 间 必 须 共用 一 些 积分 节点 . 因此 ,使 用 高 
阶 Lobatto 公式 、Kronrod 公式 的 自 适 应 高 斯 求 积 算法 被 很 多 数值 积分 软件 所 使 用 (例如 
MATLAB 中 的 函数 quadl 和 quadgk). 

(3) 多 重 积分 . 通过 累 次 积分 可 将 一 维 积分 的 方法 推广 到 二 维 以 上 的 多 重 积 分 ,但 随 
着 维 数 增加 计算 量 也 迅速 增加 . 计算 高 维 积分 ( 重 数 大 于 3) 的 有 效 方法 是 蒙特 卡 洛 (Monte 
Carlo) 方 法 , 它 在 积分 区 域 中 随机 选取 采样 点 ,然后 将 它们 对 应 函数 值 的 平均 值 与 积分 区 域 
“体积 2 相 乘 得 到 积分 的 估计 值 . 蒙特 卡 洛 方法 的 特点 是 收敛 速度 与 维 数 无 关 , 因 此 特别 适 
合 维 数 很 高 的 积分 计算 . 有 关 蒙 特 卡 洛 方法 的 更 多 内 容 可 参考 文献 [1]. 

表 7-10 列 出 一 些 数 值 积分 程序 或 命令 ,其 中 ,很 多 一 维 求 积 程序 使 用 基于 高 斯 公式 的 
自 适应 积分 算法 . 除了 表 中 列 出 的 还 有 一 些 计算 高 斯 求 积 公式 中 节点 和 系数 (也 称 为 权 值 ) 
的 程序 ,如 Netlib 中 的 gaussg 发 表 在 TOMS 上 的 orthpol 包 (#726) 中 的 gauss 和 gqrat( 井 
793) 等 . 数值 积分 软件 一 般 要 求 用 户 输入 被 积 函 数 求 值 的 程序 名 、 积 分 区 间 端 点 以 及 误差 
闵 值 ,而 输出 还 可 能 有 误差 估计 值 警告 或 错误 标志 以 及 计算 函数 值 的 次 数 等 . 

表 7-10 一 些 数 值 积分 程序 或 命令 


软件 /程序 包 一 维 积分 二 维 积分 更 高 维 积分 
FMM quadc8 

HSL qa02/qa04/qa05 qb01/qm01 
IMSL qdag/qdags twodq qand 
MATLAB quad/quadl/quadgk dblquad/quad2d triplequad 
NAG dolajf d01daf dolfcf 

NR vegas/miser dfridr 
SLATEC qag/qnc/qng/qaus8 

TOMS squank( # 379) cubtri( #584) dcuhre( #698) 
TOMS qxg/qxgs( #691) triex( #612) dcutet(#720) 
TOMS quad(#699) dcutri( #706) 

TOMS cubpack( #764) 


数值 微分 的 软件 主要 有 HSL 中 的 tdol、IMSL 中 的 deriv\MATLAB 中 的 diff\NAG 中 
的 d04aaf 等 此 外 ,还 有 很 多 自动 求 导 的 软件 包 , 有 关 信 息 可 参考 网 站 www. mcs. anl. gov/ 


adifor, 以 及 文献 : 
。 Griewank, Evaluating Derivatives: 


Differentiation, SIAM Press, 2000. 


Principles and Techniques of Algorithmic 


除了 数值 积分 、 微 分 方法 , MATLAB 中 的 符号 数学 工具 箱 (Symbolic Math Toolbox) 


提供 了 精确 积分 与 求 导 的 功能 ,进行 解析 积分 的 命令 为 int， 


而 求 导 的 命令 为 diff. 使 用 命 


令 syms 定义 了 符号 变量 以 及 函数 的 符号 表达 式 后 ,就 可 以 用 它们 求 原 函数 与 各 阶 导 数 , 这 
在 实际 应 用 中 有 时 是 很 方便 的 . 
关于 外 推 方法 的 全 面 介绍 , 见 文献 : 
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。 C. Brezinski, M. Redivo Zaglia, Ezxtrapolation Methods: Theory and Practice， 
Elsevier Press, New York, 1991. 

而 对 于 积分 方程 .微分 方程 的 数值 求解 ,有 大 量 专门 的 书籍 讨论 . 

【本 章 知识 点 】 机 械 求 积 公式 ;积分 余 项 ;代数 精度 ;插值 型 求 积 公式 及 其 代数 精度 ;中 
和 矩形 公式 、 梯 形 公式 ; 求 积 公式 的 稳定 性 ; 求 积 公式 的 收敛 性 ;牛顿 - 柯 特 斯 公式 及 其 代数 精 
度 ; 柯 特 斯 系数 ;辛普森 公式 、 柯 特 斯 公式 ;梯形 公式 、 辛 普 森 公式 的 积分 余 项 ;复合 梯形 公 
式 ;等 距 节点 求 积 公式 的 准确 度 阶 数 ;复合 辛普森 公式 ; 步 长 折 半 情况 下 的 复合 求 积 公式 计 
算 ;复合 梯形 公式 的 余 项 展开 式 ; 理 查 森 外 推 法 ; 龙 贝 格 积分 算法 ; 自 适应 积分 算法 的 原理 ; 
高 斯 求 积 公式 ; 带 权 积分 的 高 斯 求 积 公式 ;高 斯 点 的 性 质 以 及 高 斯 求 积 公式 的 构造 ;高 斯 - 勒 
让 德 公式 ;向 前 、 向 后 、 中 心 差分 公式 ;2 阶 中 心 差分 公式 ;有 限 差分 公式 的 准确 度 阶 数 ;插值 
型 求 导 公式 ;数值 微分 的 外 推算 法 . 


算法 背后 的 历史 :“ 数 学 王子 ”高 斯 


约翰 。 卡 尔 。 弗 里 德里 希 。 高 斯 (Johann Carl Friedrich Gauss,1777 年 4 月 30 日 
1855 年 2 月 23 日 ) 是 德国 著名 数学 家 、 物 理学 家 、 天 文学 家 、 大 地 测 
量 学 家 . 高 斯 的 成 就 遍及 数学 的 各 个 领域 ,在 数论 、. 非 欧 几何 、 微 分 
几何 、 超 几何 级 数 、 复 变 函 数论 以 及 椭圆 函数 论 等 方面 均 有 开创 性 
贡献 . 高 斯 被 公认 为 是 19 世纪 最 伟大 的 数学 家 ,与 阿 基 米 德 ,牛顿 
并 列 为 世界 三 大 数学 家 . 

高 斯 于 1777 年 4 月 30 日 生 于 布 伦 瑞 克 的 一 个 工匠 家 庭 . 
1792 年 ,15 岁 的 高 斯 进入 布 伦 现 克 学 院 , 在 那里 独立 发 现 了 二 项 式 
定理 的 一 般 形式 、 证 明了 “质数 分 布 定 理 ”、 数 论 上 的 “二 次 互 反 律 ”. 
1795 年 高 斯 进入 哥 廷 根 大 学 . 1796 年 ,19 岁 的 高 斯 取得 了 一 个 数 
学 史上 极 重 要 的 成 果 , 就 是 论文 “ 正 十 七 边 形 尺 规 作 图 之 理论 与 方 
法 ”1801 年 ,高 斯 又 证 明了 “Fermat 素数 ” 边 数 的 正 多 边 形 可 以 由 尺 规 法 作出 ,高 斯 从 
1807 年 起 担任 哥 廷 根 大 学 教授 兼 哥 廷 根 天 文 台 台 长 直至 逝世 . 

高 斯 的 主要 贡献 

。 高 斯 消去 法 . 

。 质数 分 布 定理 和 最 小 二 乘法 . 

。 高 斯 分 布 (标准 正 态 分 布 ). 

。 高 斯 求 积 公式 . 

。 无 穷 级 数 的 高 斯 判 全 法. 

。 发 现 了 谷 神 星 的 运行 轨迹 . 

。 证 明代 数 基本 定理 . 

。 微分 几何 最 重要 的 创始 人 . 

高 斯 的 故事 

一 天 , 德国 哥 廷 根 大 学 ,一 个 19 岁 的 青年 吃 完 晚饭 ,开始 做 导师 单独 布置 给 他 的 数学 
题 . 正常 情况 下 ,他 总 是 在 两 个 小 时 内 完成 这 项 作业 . 像 往 常 一 样 ,前 两 道 题目 在 两 个 小 时 
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内 顺利 地 完成 了 . 第 三 道 题写 在 一 张 小 纸 条 上 ,是 要 求 只 用 圆规 和 一 把 没有 刻度 的 直 尺 做 
出 正 17 边 形 , 他 没 多 起, 埋头 做 起 来 . 然而 ,做 着 做 着 ,他 感到 越 来 越 吃 力 . 困难 激 起 了 他 的 
斗志 : 我 一 定 要 把 它 做 出 来 ! 天 亮 时 ,他 终于 做 出 了 这 道 难题 . 导师 看 了 他 的 作业 后 惊 采 
了 . 他 用 颤抖 的 声音 对 青年 说 :“ 这 真是 你 自己 做 出 来 的 ? 你 知 不 知道 ,你 解 开 了 一 道 有 两 
千 多 年 历史 的 数学 悬案 ? 阿 基 米 德 . 牛 顿 都 没有 解 出 来 ,你 竟然 一 个 晚上 就 解 出 来 了 ! …… 
我 最 近 正 在 研究 这 道 难题 ,昨天 不 小 心 把 写 有 这 个 题目 的 小 纸 条 夹 在 了 给 你 的 题目 里 . ” 
多 年 以 后 ,这 个 青年 回忆 起 这 一 幕 时 ,总 是 说 :“ 如 果 有 人 告诉 我 ,这 是 一 道 有 两 千 多 年 历史 
的 数学 难题 ,我 不 可 能 在 一 个 晚上 解决 它 . ”这 个 青年 就 是 数学 王子 高 斯 . 

高 斯 在 1810 年 提出 了 消去 法 ,他 的 这 个 方法 是 为 了 简化 二 次 型 而 不 是 为 了 矩阵 分 解 . 
实际 上 ,求解 线性 方程 组 中 的 高 斯 消去 法 是 20 世纪 40 年 代 由 Dwyer、 冯 。 诺 依 曼 (von 
Neumann) 等 人 提出 的 . 高 斯 最 早 提出 ,通过 积分 点 的 最 佳 分 布 可 得 到 更 为 精确 的 数值 积分 
方法 ,并 于 1814 年 发 表 了 第 一 个 这 样 的 求 积 公式 ,高 斯 求 积 公式 因此 得 名 . 

高 斯 名 言 

。 数学 是 科学 里 的 皇后 ,数论 是 数学 中 的 女王 . 

。 宁可 少 些 ,但 要 好 些 . 

。 数学 中 的 一 些 美丽 定理 具有 这 样 的 特性 : 它们 极 易 从 事实 中 归纳 出 来 ,但 证 明 却 隐 

藏 得 极 深 . 
。 给 我 最 大 快乐 的 ,不 是 已 懂得 的 知识 ,而 是 不 断 地 学 习 ; 不 是 已 有 的 东西 ,而 是 不 断 
地 获取 ;不 是 已 达到 的 高 度 , 而 是 继续 不 断 地 攀登 . 


练 习 题 


1. 确定 下 列 求 积 公式 中 积分 系数 或 积分 节点 的 待定 值 , 使 其 代数 精度 尽量 高 ,并 指明 
所 构造 的 求 积 公式 所 具有 的 代数 精度 . 


2h 
(1) | flr dr Af(—h) +AfO) +A fh). 
—2h 


(2) | xz)dzx[F( 一 1) 十 2FCz) 十 3F(Czs)]/3. 
= 


2. 若 积分 节点 ,二 0,…,n 给 定 ,要 求 机械 求 积 公 式 的 积分 系数 ,使 得 求 积 公式 至 少 具 
有 7 次 代数 精度 . 请 根据 定理 7.1 列 出 待 求解 的 线性 方程 组 ,并 判断 解 的 存在 性 和 唯一 性 . 

3. 直接 验证 柯 特 斯 公式 
ba 


90 
具有 5 次 代数 精度 . 
4 用 辛普森 公式 求 积分 ear 并 估计 误差 
5. 证 明 下 列 等 式 ,它们 分 别 说 明了 三 种 矩形 求 积 公 式 及 其 余 项 公式 


万) 
2 


C= 


[7f Oxo) +32f Cr) 十 12FCzs) 十 32F(Czs) 十 7FCzi)] 


GD | fdr = -f+ (0 一 0 六 ,7 €E (a,b). 


b A 
2 {fdr = a)f (6) ro a)’ ,7 €E (a,b). 
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a 二 Tb 


6. 对 下 列 积分 ,分 别 用 复合 梯形 公式 和 复合 辛普森 公式 计算 , 其 中 ,n 表示 计算 中 使 用 
n 十 1 个 区 间 等 分 点 上 的 函数 值 , 然 后 比较 两 种 方法 计算 结果 的 准确 度 . 


1 
用 到 
CL | rr n 8. 


9 
2 | Vrdr， n= 4. 
bp 


b 
(3) | fendr =(6 of( 


) 人 2 aa GE (a,Db). 


1 


7. 若 用 复合 梯形 公式 计算 积分 工 一 | erdz, 间 区 间 [0,1] 应 该 分 成 多 少 等 分 才能 使 截 


0 


断 误差 不 超过 二 X10-5? 车 改 用 复合 辛普森 公式 ,要 达到 同样 精度 区 间 [0, 1] 应 该 分 多 少 
等 分 ? 

8, 如 果 /Cz) 二 0, 证 明 用 梯形 公式 计算 积分 1 二 | (zx)dz 所 得 结果 比 准确 值 工 大 ,并 
说 明 其 几何 意义 . 

9。 用 龙 贝 格 求 积 算法 计算 下 列 积分 ,误差 阔 值 设 为 10-5， 
二 | edz. 


10. 证 明 等 式 
ne | ne 
3Iln: 5Int 


试 依据 nsin(x/n)(n 二 3,6,12) 的 值 ,用 理 查 森 外 推 方法 求 x 的 近似 值 . 
11. 用 n= 二 1,2 的 高 斯 - 勒 让 德 公式 分 别 计算 积分 


3 
| er sinrdz. 
1 


5 
nsSin — n 
n 


12. 将 积分 区 间 分 为 四 等 分 ,用 复合 两 点 高 斯 公式 计算 积分 | 2. 

13. 假定 A=0.2 时 用 向 前 差分 公式 得 到 导数 的 近似 值 为 一 0. 8333 ,在 /一 0.1 时 
用 向 前 差分 公式 得 到 导数 的 近似 值 为 一 0.9091, 用 理 查 森 外 推 方法 求 导数 的 更 好 的 近 
似 值 . 


上 机 题 


1. 编程 实现 龙 贝 格 求 积 算法 7.1, 用 它 计 算 x 的 近似 值 


| 
下 TF = XxX. 

(1) 改变 不 同 的 步 长 ,看 结果 误差 怎么 变化 (根据 已 知 的 x 值 ), 看 是 否 存 在 一 个 最 小 
的 ,结果 准确 度 不 再 改善 . 

(2) 用 自 适 应 求 积 的 MATLAB 程序 quadtx',' 设 置 不 同 的 误差 阔 值 计算 上 述 积分 , 画 出 
积分 节点 的 分 布 情况 . 

(3) 比较 (1)、(2) 两 种 方法 的 计算 量 ,包括 计算 函数 的 次 数 和 实际 计算 时 间 . 
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2. 对 下 述 积分 重新 做 上 机 题 1 : 
| Vrln zdz 一 一 全 . 


注意 : limyzin z= 加 一 器 =0. 


3. 修改 自 适应 积分 程序 quadtx', 使 用 中 矩阵 公式 和 梯形 公式 计算 同一 个 积分 ,根据 它 
们 的 结果 进行 误差 估计 . 使 用 修改 后 的 程序 重新 计算 例 7. 7, 与 原始 的 quadtx 程序 比较 计 
4. 用 数值 积分 方法 近似 计算 


及 圆周 率 
元 一 直 Td 
(1) 用 复合 Simpson 求 积 公式 计算 ， 要 求 绝对 误差 限 小 于 村 X10“, 试 根据 积分 余 项 佑 


计 步 长 的 取 值 范围 . 按 要 求 选择 一 个 步 长 进行 计算 ， 吉 果 与 误差 要 求 是 否 相 符 . 
(提示 : 可 以 利用 MATLAB 的 符号 运算 工具 箱 求 函数 的 高 阶 导数 表达 式 , 详 见 命令 
diff、syms、ezplot 的 帮助 文档 . ) 
(2) 用 Romberg 外 推 方法 求 积 分 近似 值 ( 误 差 要 求 与 (1) 同 ). 
(3) 用 下 面 的 复合 Gauss 公式 计算 近似 积分 


et No ttre A zal 


+ Le), Be Cas), 


其 中 ,h 一 (6 一 a) /nszxn4 一 x 十 分. 复合 Gauss 积分 的 思想 是 将 [a, 站 做 等 距 划 分 a 十 


ih(i 二 0,…,n) ,然后 在 每 个 子 区 间 内 应 用 两 点 Gauss 公式 . 试 对 步 长 h 做 先 验 估 计 ( 误 差 
要 求 与 (1) 同 ) ,然后 计算 近似 积分 . 


。 274。 


第 8 章 常 微分 方程 初 值 问题 的 解法 


在 科学 与 工程 问题 中 , 常 微分 方程 描述 物理 量 的 变化 规律 ,应 用 非常 广泛 . 本 章 介 绍 最 基 
本 的 常 微分 方程 初 值 问题 的 解法 ,主要 针对 单个 常 微分 方程 ,也 讨论 常 微分 方程 组 的 有 关 技 术 . 


8.1 引 言 


本 节 介 绍 常 微分 方程 以 及 初 值 问 题 的 基本 概念 ,并 对 常 微分 方程 初 值 问题 的 敏感 性 进 
行 分 析 . 


8.1.1 问题 分 类 与 可 解 性 


很 多 科学 与 工程 问题 在 数学 上 都 用 微分 方程 来 描述 ,比如 ,天 体 运动 的 轨迹 、 机 器 人 控 
制 、 化 学 反应 过 程 的 描述 和 控制 以 及 电路 瞬 态 过 程 分 析 等 .这些 问 题 中 要 求解 随时 间 变 化 
的 物理 量 , 即 未 知 函数 y(?) ,t 表示 时 间 , 而 微分 方程 描述 了 未 知 函数 与 它 的 1 阶 或 高 阶 导 
数 之 间 的 关系 . 由 于 未 知 函 数 是 单 变量 函数 ,这 种 微分 方程 被 称 为 常 微分 方程 (ordinary 
differential equation,ODE) , 它 具 有 如 下 的 一 般 形式 了. 
g(tyysy rs yO ) 一 0， C8 1 
其 中 ,函数 g: RR 一 及 .类似 地 ,如 果 待 求 的 物理 量 为 多 元 函数 , 则 由 它 及 其 偏 导 函数 构成 
的 微分 方程 称 为 偏 微分 方程 (partial differential equation,PDE). 偏 微分 方程 的 数值 解法 超 
出 了 本 书 范围 ,但 其 基础 是 常 微分 方程 的 解法 . 
在 实际 问题 中 ,往往 有 多 个 物理 量 相互 关联 ,它们 构成 的 一 组 常 微 分 方程 决定 了 整个 系 
统 的 变化 规律 . 我 们 先 针 对 单个 常 微分 方程 的 问题 介绍 一 些 基 本 概念 和 求解 方法 ,然后 在 
第 8.5 节 讨 论 常 微分 方程 组 的 有 关 问 题 . 
如 公式 (8.1), 若 常 微分 方程 包含 未 知 函 数 的 最 高 阶 导数 为 y”, 则 称 为 k 阶 常 微分 方 
程 . 大 多 数 情况 下 ,可 将 常 微分 方程 (8.1) 写 成 如 下 等 价 形式 : 
Sy yy, (8. 2) 
其 中 ,函数 f: R 和 -~ 及 .这 种 等 号 左边 为 未 知 函 数 的 最 高 阶 导数 y® 的 方程 称 为 显 式 常 微 
分 方程 ,对 应 的 形 如 式 (8. 1) 的 方程 称 为 隐 式 常 微分 方程 . 
通过 简单 的 变量 代 换 可 将 一 般 的 和 阶 常 微分 方程 转化 为 1 阶 常 微 分 方程 组 . 例如 对 于 
方程 (8.2) , 设 (2) 二 y(tw (GD 一 ya 一 yeD2()， 则 得 到 等 价 的 1 阶 显 式 常 微 
分 方程 组 为 
ul = ws 
us = Us 


(8.32 


us = ft dss sy) 


@ 为 了 表达 式 简 洁 ,在 常 微分 方程 中 一 般 省 略 函数 的 自 变量 ,即将 >(2) 简 记 为 y,y (0) 简 记 为 y ,等 等 . 
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本 书 仅 讨论 显 式 常 微分 方程 ,并 且 不 失 一 般 性 ,只 需 考 虑 1 阶 常 微分 方程 或 方程 组 . 
例 8.1(1 阶 显 式 常 微分 方程 ) : 试用 微 积 分 知识 求解 如 下 1 阶 常 微分 方程 : 


/ 


y 三光 
【 解 】 采用 分 离 变 量 法 进行 推导 


对 两 边 积 分 ,得 到 原 方程 的 解 为 
y(Ct) 一 Ce， 
其 中 ,c 为 任意 常数 . 国 
从 例 8. 1 看 出 , 仅 根据 常 微分 方程 一 般 无 法 得 到 唯一 的 解 . 要 确定 唯一 解 ,还 要 在 一 些 
自 变 量 点 上 给 出 未 知 函数 的 值 , 称 为 边界 条 件 . 一 种 边界 条 件 设置 方法 是 给 出 1 二 t。 时 未 知 
函数 的 值 
y(to) = yo. 
在 合理 的 假定 下 ,从 时 刻 对 应 的 初始 状态 mw 开始 , 常 微分 方程 决定 了 未 知 函 数 在 :全 
to 时 的 变化 情况 ,也 就 是 说 这 个 边界 条 件 可 以 确定 常 微分 方程 的 唯一 解 ( 见 定 理 8.1). 相应 
地 , 称 y(to) 三 yo 为 初始 条 件 , 而 带 初 始 条 件 的 常 微分 方程 问题 
y = fy 
Ris (8.4) 
为 初 值 问 题 (initial value problem,IVP). 
定理 8.1: 若 函 数 f(1,y) 关 于 y 满足 李 普 希 效 (Lipschitz) 条 件 , 即 存在 常数 二 盖 0 ,使 得 
对 任意 t 三 to ,任意 的 > 与 了 3, 有 
ee 0 ed (8.5) 
则 常 微分 方程 初 值 问题 (8. 4) 存 在 唯一 的 解 . 
一 般 情况 下 ,定理 8. 1 的 条 件 总 是 满足 的 ,因此 常 微分 方程 初 值 问 题 的 解 总 是 唯一 存在 


的 . 为 了 更 清楚 地 理解 这 一 点 ,考虑 7 的 入 导数 5 存在 , 则 它 在 求解 区 域内 可 推出 村 
普 希 效 条 件 (8.5), 因 为 


es ed 元 本 


其 中 ,se 为 介 于 y 和 5 之 间 的 某 个 值 . 设 工 为 af (| 的 上 界 , 式 (8 5) 即 得 以 满足 . 


ay 
对 公式 (8.4) 中 的 1 阶 党 微分 方程 还 可 进一步 分 类 . 若 Fi,y) 是 关于 y 的 线性 函数 ， 
fl13y) 一 ay 十 500D)， (8. 6) 


其 中 ,a(t) .6() 表 示 自 变量 为 + 的 两 个 一 元 函数 , 则 对 应 的 常 微分 方程 为 线性 常 微分 方程 ， 
车 5(1) 三 0, 则 为 线性 齐 次 常 微分 方程 . 例 8. 1 中 的 方程 属于 线性 、 齐 次 、 常 系数 微分 方程 ， 
这 里 的 “ 常 系数 ”是 强调 a(?) 为 常数 函数 . 


8.1.2 问题 的 敏感 性 


对 常 微分 方程 初 值 问题 ,可 分 析 它 的 敏感 性 , 即 考虑 初 值 发 生 扰 动 对 结果 的 影响 . 注意 
这 里 的 结果 ( 解 ) 是 一 个 函数 ,而 不 是 一 个 或 多 个 值 . 由 于 实际 应 用 的 需要 ,分 析 常 微分 方程 
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初 值 问题 的 敏感 性 时 主要 关心 :>oo 时 y(DD 受 影响 的 情况 ,并 给 出 有 关 的 定义 . 考虑 
到 常 微 分 方程 的 求解 总 与 数值 算法 交织 在 一 起 以 及 历史 的 原因 ,一 般 用 “稳定 >"“ 不 稳定 ”等 
词汇 说 明 问 题 的 敏感 性 . 

定义 8.1: 对 于 常 微分 方程 初 值 问 题 (8. 4) ,考虑 初 值 y 的 扰动 使 问题 的 解 >(z) 发 生 偏 
差 的 情形 . 车 上 -= 时 y(7) 的 偏差 被 控制 在 有 界 范围 内 , 则 称 该 初 值 问 题 是 稳定 的 (stable)， 
否则 该 初 值 问题 是 不 稳定 的 (unstable). 特别 地 , 若 二 ~== 时 y() 的 偏差 收敛 到 零 , 则 称 该 初 
值 问题 是 渐进 稳定 的 (asymptotically stable). 

关于 定义 8. 1, 说 明 两 点 . 

(1) 渐进 稳定 是 比 稳定 更 强 的 结论 , 若 一 个 问题 是 渐进 稳定 的 , 它 必 然 是 稳定 的 . 

(2) 对 于 不 稳定 的 常 微分 方程 初 值 问题 ,初始 数据 的 扰动 将 使 二 <c 时 的 结果 误差 无 穷 
大 . 因此 为 了 保证 数值 求解 的 有 效 性 , 常 微分 方程 初 值 问题 具有 稳定 性 是 非常 重要 的 . 

例 8.2〈 初 值 问题 的 稳定 性 ) : 考察 如 下 “模型 问题 ”的 稳定 性 : 

yy 三 Wy 汪 芝 而 
en C87 

【 解 】 易 知 此 常 微分 方程 的 准确 解 为 y(7) 三 ye 假设 初 值 经 过 扰动 后 变 为 yo 十 

Ayo， 对 应 的 扰动 后 解 为 
3(1) = (yo + Ayo er, 
所 以 扰动 带 来 的 误差 为 
Ay(t) = Ayoexco 

根据 定义 8.1, 需 考虑 :一 co 时 Ay(7?) 的 值 , 它 取决 于 4. 易 知 ,车 4 三 0, 则 原 问 题 是 稳定 的 ; 
车 4 二 0, 原 问题 不 稳定 ;而 且 当 4 过 0 时 , 原 问题 渐进 稳定 . 图 

图 8-1 分 三 种 情况 显示 了 初 值 扰动 对 问题 ( 见 式 (8.7)) 的 解 的 影响 ,从 中 可 以 看 出 不 稳 
定 ,稳定 ,渐进 稳定 的 不 同 含义 . 


y 
Wy 
J0 
1 人 全 
(a) 4>0 对 应 的 不 稳定 问题 (b) 4=0 对 应 的 稳定 问题 (c) 4<0 对 应 的 渐进 稳定 问题 


图 8-1 初 值 扰动 对 问题 (8.7) 的 解 的 影响 


对 例 8.2 中 的 模型 问题 , 若 考 虑 参数 4 为 一 般 的 复数 , 则 问题 的 稳定 性 取决 于 7 的 实 
部 , 若 Re(2) 过 0, 则 问题 是 稳定 的 ,否则 不 稳定 . 例 8.2 的 结论 还 可 推广 到 线性 、 常 系数 常 
微分 方程 , 即 根据 f(z,y) 中 y 的 系数 可 确定 初 值 问题 的 稳定 性 . 对 于 一 般 的 线性 常 微分 方 
程 (8.6), 由 于 方程 中 y 的 系数 为 关于 上 的 函数 , 仅 能 分 析 i 取 某 个 值 时 的 局 部 稳定 性 . 

例 8.3 (局 部 稳定 性 ) : 考察 如 下 常 微分 方程 初 值 问题 的 稳定 性 : 

y =— 10ty, $= 
y(0)=1 


(8.8) 
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【 解 】 此 常 微分 方程 为 线性 常 微分 方程 ,其 中 ,y 的 系数 为 a(7)== 一 101， 当 1 宇 0 时 ， 
a(7) 之 0, 在 定义 域内 每 个 时 间 点 上 该 问题 都 是 局 部 稳定 的 . 图 

事实 上 ,方程 (8. 8) 的 解析 为 y(1) 二。-””, 初 值 扰动 Ay 造成 的 结果 误差 为 Ay(1) = 
Aye-， 这 说 明 初 值 问 题 (8. 8) 是 稳定 的 . 

对 于 更 一 般 的 1 阶 常 微 分 方程 (8. 4) ,由 于 其 中 f(z,y) 可 能 是 非 线 性 函数 ,分 析 它 的 稳 
定性 非常 复杂 . 一 种 方法 是 通过 泰勒 展开 用 一 个 线性 常 微分 方程 来 近似 它 , 再 利用 线性 党 
微分 方程 稳定 性 分 析 的 结论 了 解 它 的 局 部 稳定 性 . 具体 地 说 ,在 某 个 解 函数 y* (7) 附 近 用 1 
阶 泰勒 展开 近似 (7,y)， 


flt,y) 大 ty ) 十 ay (fy Ye (y= Ys 


9y 
则 原 微 分 方程 被 局 部 近似 为 (用 符号 = 代替 y) 
过 = Dy ) 
oy 


这 是 关于 未 知 函 数 =(7) 的 1 阶 线性 常 微分 方程 ,可 分 析 + 取 某 个 值 时 的 局 部 稳定 性 . 因此 ， 
对 于 具体 的 y* (4) 和 4 的 取 值 , 常 微分 方程 初 值 问 题 (8. 4 的 局 部 稳定 性 取决 于 (7,y* ) 


的 实 部 的 正 负 号 . 应 注意 的 是 ,这 样 得 到 的 关于 稳定 性 的 结论 只 是 局 部 有 效 的 . 
实际 遇 到 的 大 多 数 常 微分 方程 初 值 问题 都 是 稳定 的 ,因此 在 后 面 讨 论 数值 解法 时 这 常 
常 是 默认 的 条 件 . 


8.2 简单 的 数值 解法 与 有 关 概 念 


大 多 数 常 微分 方程 都 无 法 解析 求解 (尤其 是 常 微分 方程 组 ), 只 能 得 到 解 的 数值 近 
似 . 数值 解 与 解析 解 有 很 大 差别 , 它 是 解 函 数 在 离散 点 集 上 近似 值 的 列表 ,因此 求解 常 微 
分 方程 的 数值 方法 也 称 为 离散 变量 法 . 本 节 先 介绍 最 简单 的 常 微分 方程 初 值 问 题解 
法 一 一 欧 拉 法 (Euler method) ,然后 给 出 数值 解法 的 稳定 性 和 准确 度 的 概念 ,最 后 介绍 两 


8.2.1 欧 拉 法 


数值 求解 常 微分 方程 初 值 问题 ,一 般 都 是 “ 步 进 式 ” 的 计算 过 程 , 即 从 4 开始 依次 算出 
离散 自 变量 点 上 的 函数 近似 值 . 这 些 离 散 自 变量 点 和 对 应 的 函数 近似 值 记 为 
区 二 而 有 
J 
其 中 ,y。 是 根据 初 值 条 件 已 知 的 . 相 邻 自 变量 点 的 间距 为 六 一世 1 一心: 称 为 步 长 . 
数值 解法 通常 使 用 形 如 
War 一 CCyneH yy ye 1 Yeh) (8.9) 
的 计算 公式 ,其 中 ,G 表示 某 个 多 元 函数 . 公式 (8. 9) 是 若干 个 相 邻 时 间 点 上 函数 近似 值 满 
足 的 关系 式 ,利用 它 以 及 较 早 时 间 点 上 函数 近似 值 可 算出 y,+1. 若 公 式 (8.9) 中 二 0, 则 对 
应 的 解法 称 为 单 步 法 (single-step method) ,其 计算 公式 为 
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Vatl = Gyn Ya). C5 109 
否则 , 称 为 多 步 法 (multiple-step method). 另 一 方面 , 若 函 数 G 与 y,+i 无 关 , 即 
yn = G(s 
则 称 为 显 格式 方法 (explicit method) ,否则 称 为 隐 格 式 方法 (implicit method). 显然 , 显 格 
式 方法 的 计算 较 简 单 ,只 需 将 已 得 到 的 函数 近似 值 代入 等 号 右边 , 则 可 算出 yi. 
欧 拉 法 是 一 种 显 格式 单 步 法 ,对 初 值 问题 (8. 4) 其 计算 公式 为 

yrH = yahf tisy), (2 一 0,1,2，…). 481 人 

它 可 根据 数值 微分 的 向 前 差分 公式 (第 7.7 节 ) 导 出 . 由 于 yy 三 f(z,y), 则 


h, 


得 到 近似 公式 y(ti) 守 y(6) 十 hf (brs,y(t,)), 将 其 中 的 函数 值 换 为 数值 近似 值 , 则 得 到 欧 
拉 法 的 递 推 计算 公式 (8.11). 还 可 以 从 数值 积分 的 角度 进行 推导 ,由 于 


y(t) = y(t,) + yds = y(t,) + /6,35))ds, 


用 左 拢 形 公式 近似 计算 其 中 的 积分 (矩形 的 高 为 ;==t, 时 被 积 函 数值 ), 则 有 
ya y(t) hf (tov yt) ss 
将 其 中 的 函数 值 换 为 数值 近似 值 , 便 得 到 欧 拉 法 的 计算 公式 . 
例 8.4 ( 欧 拉 法 ): 用 欧 拉 法 求解 初 值 问题 
多 一 上 一 y 十 1 
y(0)=1 
求 :一 0.5 时 y(7) 的 值 ,计算 中 将 步 长 分 别 固定 为 0.1 和 0. 05. 
【 解 】 在 本 题 中 ,f(t,y) 二 1 一 y 十 1,4 二 0,yo 二 1, 则 欧 拉 法 计算 公式 为 
ya 三 Vr 十 h(t 一 yi 十 1)， (n= 0,1,2,.). 
当 步 长 =0.1 时 ,计算 公式 为 y,+1 二 0. 9y, 十 0. 1 十 0. 1; 当 步 长 ==0.05 时 ,计算 公式 为 
nt1 王 0.95y; 十 0.054, 十 0.05. 两 种 情况 的 计算 结果 列 于 表 8-1 中 ,同时 也 给 出 了 准确 解 
y(ti 一 1 十 e 一 的 结果 . 


yt) = ft yt)) 


表 8-1 欧 拉 法 计算 例 8.4 的 结果 


h=0.1 /一 0.05 

如 Yn y(tn) Yn ta Yn 

0.1 1. 000 000 1.004 837 1. 000 000 0. 3 1.035 092 
0.2 1.010 000 1.018.731 1.002 500 0. 35 1.048 337 
0.3 1.029 000 1.040 818 1.007 375 0.4 1.063 420 
0.4 1.056 100 1.070 320 1.014 506 0.45 1. 080 249 
0.5 1.090 490 1.106 531 1.023 781 O05 1. 098 737 
从 计算 结果 可 以 看 出 , 步 长 取 0.05 时 ,计算 的 误差 较 小 . 国 


在 常 微分 方程 初 值 问题 的 数值 求解 过 程 中 , 步 长 h(n 二 0,1,2,…) 的 设置 对 计算 的 准 
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确 性 和 计算 量 都 有 影响 . 一 般 地 , 步 长 越 小 计算 结果 越 准确 ,但 计算 步 数 也 越 多 (对 于 固定 
的 计算 区 间 右 端点 ) ,因此 总 计算 量 就 越 大 . 在 实际 的 数值 求解 过 程 中 ,如 何 设置 合适 的 步 
长 达到 准确 度 与 效率 的 最 佳 平衡 是 很 重要 的 一 个 问题 . 


8.2.2 数值 解法 的 稳定 性 与 准确 度 


在 使 用 数值 方法 求解 初 值 问 题 时 ,还 应 考虑 数值 方法 的 稳定 性 . 实际 的 计算 过 程 中 都 
存在 误差 , 若 某 一 步 的 解 函 数 近似 值 w 存在 误差 ,在 后 续 递 推 计 算 过 程 中 , 它 会 如 何 传播 
呢 ? 会 不 会 恶性 增长 ,以 至 于 “淹没 ”准确 解 ? 通过 数值 方法 的 稳定 性 分 析 可 以 回答 这 些 问 
题 . 首先 给 出 稳定 性 的 定义 . 

定义 8.2: 采用 某 个 数值 方法 求解 常 微分 方程 初 值 问题 (8. 4) ,车 在 节点 上 的 函数 近 
似 值 存在 扰动 6,, 由 它 引 起 的 后 续 各 节点 上 的 误差 ov (mn) 均 不 超过 6,, 即 |6, | 三 16,| 
(m7) , 则 称 该 方法 是 稳定 的 . 

在 大 多 数 实 际 问题 中 ,截断 误差 是 常 微分 方程 数值 求解 中 的 主要 计算 误差 ,因此 我 们 忽 
略 舍 人 误差 . 此 外 , 仅 考虑 稳定 的 常 微 分 方程 初 值 问题 . 

考虑 单 步 法 的 稳定 性 ,需要 分 析 扰 动 2 对 y+i 的 影响 ,推导 6,+41 与 6, 的 关系 式 . 以 欧 
拉 法 为 例 , 先 考虑 模型 问题 (8.7) ,并 且 设 Re(X) 达 0. 此 时 欧 拉 法 的 计算 公式 为 ? 

ya 一 十 My 一 (1 十 MA)， 
由 y, 上 的 扰动 6, 引起 y+i 的 误差 为 
Om = (1M)6,, 
要 使 + 的 大 小 不 超过 6, , 则 要 求 
11+m | 科 1. (8. 12) 
式 (8.12) 是 欧 拉 法 求解 模型 问题 (8.7) 保 证 稳定 性 
的 充 要 条 件 . 假设 ) 为 复数 , 则 以 在 复 平 面 里 应 落 
在 如 图 8-2 所 示 的 单位 圆 中 ,才能 保证 计算 的 稳定 
性 . 这 个 MA 在 复 平 面 内 的 取 值 范围 称 为 稳定 区 域 ， 
而 稳定 区 域 与 实数 轴 的 交 称 为 稳定 区 间 . 欧 拉 法 的 图 8-2 欧 拉 法 解 模型 问题 的 稳定 区 域 
稳定 区 域 就 是 如 图 8-2 所 示 的 阴影 区 域 . 考虑 稳定 
的 问题 , 且 4 为 非 零 实数 的 情况 ( 即 4 二 0), 则 由 式 (8.12) 可 推出 
一 2 
4 入 一 一 . 《3 
这 说 明 使 用 欧 拉 法 计算 时 ,为 保证 稳定 性 , 步 长 不 能 取得 太 大 . 
对 于 一 般 的 常 微分 方程 (8. 4) ,采用 欧 拉 法 求解 ， 
Ynt1 = Yr hf tn, Yn), 


Re 


Gem 一 六 十 人 LA 十 3) 一 Fo 一 六 1 二 9 0D), 
忽略 扰动 量 5, 的 2 阶 小 量 , 则 欧 拉 法 稳定 的 条 件 是 


@ 对 于 稳定 性 分 析 以 及 后 面 的 一 些 场合 ,由 于 只 考虑 一 步 的 计算 ,将 步 长 hh 记 为 h. 
。 280 。 
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1 (8. 14) 
a 
公式 (8 14) 中 了 He,, ,) 的 取 值 范围 也 是 如 图 8-2 所 示 的 阴影 部 分 . 考虑 到 问题 满足 局 


部 稳定 性 要 求 ,一 般 有 Re( 节 人 >) } 一 0, 则 要 保证 欧 拉 法 稳定 , 步 长 的 值 不 能 太 大 . 


例 8.5 (不 稳定 的 算法 ): 用 欧 拉 法 求解 初 值 问 题 
y 一 一 100y 
bo = 
固定 步 长 ==0.025, 求 1==0.15 时 y(7) 的 值 . 
【 解 】 欧 拉 法 的 计算 公式 为 y+ 二 y, 十 h( 一 100y,) 二 一 1. 5y, ,计算 结果 如 表 8-2 所 
示 , 其 中 也 给 出 了 准确 解 y(7) 三 e ”的 结果 . 


表 8-2 欧 拉 法 计算 例 8.5 的 结果 


y(t,) | | 0.082 085 | 0.006 738 | 0.000 553 |4.54X10-5|3.73X10-*| 3.06X107™? 


从 表 8-2 中 可 以 看 出 , 欧 拉 法 的 计算 结果 在 准确 值 的 上 下 波动 ,而 且 误差 越 来 越 大 ,是 


一 种 不 稳定 的 现象 . 事实 上 ,根据 欧 拉 法 求解 模型 问题 的 稳定 性 条 件 式 (8. 13)， h<— = 


0. 02 才能 保证 计算 稳定 ,而 此 题 设置 的 二 0.025 不 在 稳定 区 域内 . 面 

除了 保证 稳定 性 ,还 应 了 解数 值 方法 准确 度 与 步 长 的 关系 ,从 而 根据 需求 灵活 地 设 定 计 
算 步 长 ,达到 最 高 的 计算 效率 . 下面 先 介绍 局 部 截断 误差 的 概念 . 

定义 8.3: 设 常 微分 方程 初 值 问题 (8. 4) 的 数值 解法 为 w+ 一 GCOw+yy，y-iy…， 
yb, 假设 其 中 y,-; (0 三 i 月 ) 均 等 于 准确 的 解 函 数值 y(4-;), 则 

lt = y(trH ) 一 Yntl 

为 该 方法 的 局 部 截断 误差 (local truncation error). 

局 部 截断 误差 突出 了 当前 这 一 步 计算 产生 的 误差 ,对 于 欧 拉 法 来 说 ， 

Za = Vt) Yb) OO— hf ts yt)). C8 Lo 
先 考虑 简单 的 模型 问题 ( 见 式 (8. 7)), 则 
1 = 交友 一 和 (太一 用 AY(C 丰 7 

利用 模型 问题 的 解析 解 y(2+) 一 y(G5)e” , 则 


Vi = 二 | 二 


公式 (8. 16) 说 明 欧 拉 法 的 局 a 的 2 阶 小 量 . 车 对 于 一 般 的 常 微分 方程 ， 
则 由 公式 (8. 15) 推 出 


2 
六 二 一 5 yt) t+OR) = OR ), (8. 17) 


也 得 出 相同 的 结论 . 


a> 二 (8. 16) 
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2 
公式 (8.16) 中 的 亏 y(4) CH 和 公式 (8. 17) 中 的 人-y(w ) 称 为 截断 误差 主 项 . 根据 局 


部 截断 误差 可 定义 一 个 方法 的 准确 度 阶 数 . 

定义 8. 4: 若 一 个 求解 常 微分 方程 初 值 问 题 的 数值 方法 ,其 局 部 截断 误差 + 二 
OG?+1), 则 称 该 方法 具有 p 阶 准确 度 . 

根据 定义 ,可 以 看 出 欧 拉 法 具有 1 阶 准确 度 . 应 当 说 明 ,求解 常 微分 方程 时 实际 上 关心 
的 是 整体 误差 

@ = yr — yt), 

但 能 估计 和 控制 的 只 有 局 部 截断 误差 4, ,因此 须 了 解 两 者 的 关系 . 可 以 证 明 , 在 适当 条 件 
下 , 若 局 部 截断 误差 为 O(1211), 则 整体 误差 e, 二 O(n?), 其 中 ,h 为 平均 步 长 ,这 解释 了 准确 
度 阶 数 的 意义 . 基于 这 个 结论 , 则 只 要 阶 数 p 三 1, 则 随 着 步 长 h 的 减 小 结果 误差 将 逐渐 收 
敛 到 0, 这 称 为 常 微分 方程 数值 解法 的 收敛 性 . 我 们 讨论 的 所 有 数值 方法 都 有 至 少 1 阶 的 准 
确 度 ,因此 都 是 收敛 的 . 


8.2.3 向 后 欧 拉 法 与 梯形 法 
本 节 介 绍 另 两 种 重要 的 数值 解法 : 向 后 欧 拉 法 和 梯形 法 ,并 分 析 它 们 的 稳定 性 和 准确 


度 阶 数 . 
从 数值 积分 的 角度 推导 欧 拉 法 的 过 程 中 , 若 使 用 右 和 矩阵 公式 近似 计算 积分 , 则 
yin) = yt) + /Gd A yt) hf ts yt)), (8. 18) 
将 其 中 函数 值 替 换 为 数值 近似 值 , 得 到 
Ynt1l = Yn haf trp Ynt1), C19 


这 就 是 向 后 欧 拉 法 (backward Euler method) 的 计算 公式 . 
车 使 用 梯形 求 积 公式 近似 式 (8.18) 中 的 积分 , 则 得 到 梯形 法 (trapezoid method): 


yon 一 十 去 ho[fts yy) 十 fn yn) (8. 20) 


从 式 (8. 19) 和 式 (8. 20) 看 出 ,向 后 欧 拉 法 和 梯形 法 都 是 单 步 隐 格 式 方法 . 一 般 地 ， 
/7 两 数 可 能 是 非 线性 函数 ,因此 采用 隐 格 式 方法 时 每 步 计算 都 要 求解 一 个 非 线性 方程 ,这 涉 
及 第 2 章 所 学 的 不 动 点 迭代 法 、 牛 顿 法 等 内 容 . 显然 , 隐 格 式 方法 每 步 的 计算 量 比 显 格式 广 
法 大 得 多 ,那么 它 有 什么 优势 呢 ? 先 看 一 个 例子 . 

例 8.6 (向 后 欧 拉 法 ): 用 向 后 欧 拉 法 求解 例 8.5 中 的 例子 ,采用 相同 的 步 长 . 

【 解 】 向 后 欧 拉 法 的 计算 公式 为 ,41 一 y, 十 h( 一 100ys+1) , 即 yot1 一 可 ,计算 结果 
列 于 表 8-3 中 ,同时 给 出 解 的 准确 值 

表 8-3 用 向 后 欧 拉 法 计算 例 8. 5 中 方程 的 结果 
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将 准确 的 解 函 数 曲线 和 向 后 欧 拉 法 的 计算 结果 绘 于 图 8-3 中 ,从 中 看 出 , 随 着 ”的 增 大 
向 后 欧 拉 法 的 误差 越 来 越 小 ,而 且 也 没有 出 现在 准确 值 上 下 波动 的 现象 . 这 直观 地 说 明 ,向 
后 欧 拉 法 比例 8. 5 中 使 用 的 欧 拉 法 好 得 多 . 国 

上 例 实际 上 反映 了 向 后 欧 拉 法 的 计算 稳定 性 ,下 面 仔细 分 析 . 先 考虑 模型 问题 (8.7)， 
并 且 设 Re(A) 委 0, 向 后 欧 拉 法 计算 公式 为 


yntH 二 yr hy 字 yn = i 
假设 y, 存在 扰动 6,, 则 由 它 引 起 y,+1 的 误差 为 
1 
On 一 Tm 
因此 要 保证 稳定 性 , 则 要 求 
1 
| 1 一 从 [< 
即 
11—WM | 宇 1. C8 21) 


式 (8.21) 反 映 了 向 后 欧 拉 法 的 稳定 区 域 为 复 平面 上 某 个 单位 贺 外 的 区 域 , 即 如 图 8-4 所 示 
的 阴影 区 域 , 而 且 , 由 于 Re(X4) 三 0, 对 任意 步 长 h, 式 (8. 21) 均 得 到 满足 向 后 欧 拉 法 的 这 
种 性 质 称 为 无 条 件 稳定 (unconditionally stable). 对 更 一 般 的 常 微分 方程 可 做 类 似 分 析 , 只 
要 常 微分 方程 本 身 是 稳定 的 , 则 对 任意 的 计算 步 长 向 后 欧 拉 法 都 是 无 条 件 稳定 的 . 


Re 


0 0.05 0.10 0.15 
图 8-3 例 8.6 中 向 后 欧 拉 法 的 计算 结果 图 8-4 向 后 欧 拉 法 解 模型 问题 的 稳定 区 域 


关于 梯形 法 的 稳定 性 分 析 , 也 可 得 出 无 条 件 稳定 的 结论 ,具体 细节 留 给 读者 思考 . 由 此 
看 出 , 隐 格 式 方法 虽然 每 步 的 计算 量 大 ,但 由 于 其 稳定 性 很 好 ,可 以 取 较 大 的 步 长 ,因此 总 的 
计算 量 可 能 有 优势 . 后 面 还 将 介绍 其 他 的 隐 格 式 方法 ,它们 不 一 定 都 是 无 条 件 稳定 的 ,但 稳 
定 区 域 总 比 相应 的 显 格式 公式 大 ,因此 对 步 长 的 限制 较 小 . 
下 面 分 析 向 后 欧 拉 法 的 准确 度 阶 数 . 直接 考虑 一 般 的 常 微分 方程 y 三 f(1,y), 则 局 部 
截断 误差 
La 一 yzH) — Yati 
=y(tm)— y(t) — hf (tins Ya) 
=hf (ty a) + OR Y= hf nyaa) 
hh sO LyCGhn) — yan | + OR?) 
=hf stn 8) * ln + Oh?) 


。283 。 


数值 分 析 与 算法 (第 2 版 ) 


Oh’) 


一 i 


1 
TT 
= (8, 22) 
式 (8. 22) 说 明 , 向 后 欧 拉 法 具有 1 阶 准确 度 . 
对 梯形 法 进行 类 似 的 推导 ,可 知 其 局 部 截断 误差 141 二 OR), 因 此 具有 2 阶 准确 度 . 
梯形 法 是 2 阶 隐 格式 方法 ,并 且 是 无 条 件 稳定 的 . 


最 后 ,说 明 两 点 . 
(1) 若 一 个 方法 是 无 条 件 稳定 的 ,或 稳定 区 域 较 大 , 则 意味 着 步 长 h 很 大 时 它 仍 能 保证 
计算 的 稳定 性 . 


(2) 一 个 方法 准确 度 阶 数 越 高 ,意味 着 其 计算 误差 随 步 长 减 小 而 减 小 的 速度 越 快 ,这 一 
点 与 等 距 节 点 求 积 公式 的 准确 度 阶 数 (定义 7.5) 有 相同 的 含义 . 因此 ,在 同等 计算 量 和 稳定 
性 的 前 提 下 ,应 尽量 选择 高 阶 的 方法 . 


8.3 龙 格 - 库 塔 方法 


有 一 大 类 求解 常 微分 方程 初 值 问题 的 单 步 法 ,统称 为 龙 格 - 库 塔 (Runge-Kutta) 方 法 . 
本 节 介 绍 显 格式 龙 格 - 库 塔 方法 的 构造 思想 ,以 及 几 种 重要 的 计算 公式 ,然后 分 析 龙 格 - 库 
塔 方法 的 稳定 性 和 收敛 性 ,最 后 介绍 自动 变 步 长 的 龙 格 - 库 塔 方法 . 
8.3.1 基本 思想 

类 似 于 前 面 几 种 简单 的 数值 解法 , 龙 格 - 库 塔 法 也 可 通过 数值 积分 来 推导 . 对 于 常 微分 
方程 初 值 问 题 (8. 4) , 相 邻 两 个 自 变量 点 上 未 知 函 数值 满足 公式 


+h 
yen) = yo 十 | fs,y(s)) ds, fh A 


ki 2 : 
5 HH AN 、 I 
采用 某 个 机 械 求 积 公 式 ( 见 第 7. 1 节 ) 计 算 其 中 的 积 | 1 1 say) 
分 , 则 函数 近似 值 Vn 和 y+ 满足 | | | 
1 1 1 
r 1 1 1 1 
yah = ya th cf st Ah yl + Ah)), 人 1 | 
1 一 1 | 1 a | 
| 1 1 | 
(8. 23) DIR htm 


二 
[0 ,1]( 见 图 8-5). 由 于 不 知道 y( 刀 十 次) 的 值 , 公 法 的 示意 图 
式 (8. 23) 无 法 直接 使 用 . 解决 这 个 问题 的 思路 是 , 希 
望 用 若干 个 y 函数 的 近似 值 (比如 y, 是 y(s) 的 近似 值 ) 来 估算 y(t 十 Xi4) ,进而 得 到 所 需 
的 了 函数 值 ,由 于 初 值 问 题 数 值 求解 过 程 的 特点 ,一般 利 用 较 早 时 间 点 上 的 函数 近似 值 计 
算 后 续 时 间 点 上 的 函数 近似 值 ,进而 得 到 式 (8. 23) 所 需 的 被 积 函 数值 另外 ,考虑 到 
y; 是 已 知 条 件 , 第 一 个 积分 节点 就 取 z, 即 A 二 0. 基于 这 个 思路 可 构造 显 格式 龙 格 - 库 塔 方 
法 ,近似 计算 公式 (8. 23) 中 的 积分 所 需 的 积分 节点 和 被 积 函 数 计算 公式 列 于 表 8-4 中 (对 照 
图 8-5). 
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表 8-4 计算 公式 (8.23) 中 积分 所 需 的 积分 节点 和 被 积 函 数 近似 值 


积分 节点 y 函数 近似 值 下 函数 近似 值 
tn Yn ft» ) 二 名 
tn Ash Yn Az hk f(t, Ash, yn tAzhki)=k, 
2 2 
tAsh yn + h Dpak; f(t Ash, yn +h Dk; )= ks 
J j=1 


一 般 将 计算 积分 所 用 的 被 积 函 数值 依次 记 为 &(i 二 1,2,…) ,它们 表示 了 各 个 节点 上 
y 函数 的 近似 值 ， 此 外 ,积分 节点 按 从 小 到 大 顺序 排列 , 即 0 二 入 过 和 过 入 二 …. 在 计算 
ks 时 ,由 于 只 有 可 以 被 利用 ,使 用 欧 拉 法 计算 y(w 十 4s) 的 近似 值 , 即 y(t 十 h2h) 守 yi 十 
Xzhk1， 而 在 计算 y(t 十 hh) 的 近似 值 时 ,用 到 了 前 两 个 时 间 点 上 的 y 近似 值 的 线性 组 合 . 
对 后 续 积分 节点 ,采用 类 似 的 做 法 . 结合 式 (8. 23) 和 表 8-4, 可 写 出 一 般 的 龙 格 - 库 塔 法 


公式 : 


js 一 yy 十 hh 2 
1 一 1 


ki = ft, yn) 


(8.24) 
kz 


| 


ft Ash, yn Ashki) 


记 1 
ki; = f(s 十 ) ys th pk ), C=" 

j=1 
公式 (8. 24) 被 称 为 r 级 龙 格 - 库 塔 公 式 ,r 为 数值 积分 中 积分 点 的 个 数 , 也 就 是 计算 f 函数 
的 次 数 . 公式 中 ,除了 参数 X;(i 二 2,…,r) ,还 有 两 组 待定 参数 c(i 二 1,…,7) 和 ji (i 二 3,*…， 
7,j 达 让 这些 待 定 参 数 的 总 数 为 


四 加 a 
N, 一 ”十 (r D+ od 和 C8. 2 


为 了 叙述 方便 ,下 面 将 龙 格 - 库 塔 公式 (8. 24) 简 称 为 R-K 公式 . 对 于 了 级 R-K 公式 中 
的 待定 参数 ,并 不 按照 具体 的 数值 积分 公式 进行 设置 ,而 往往 采用 待定 系数 法 加 以 确定 . 根 
据 所 需要 达到 的 准确 度 阶 数 ,可 求 出 R-K 方法 中 这 些 待定 参数 的 值 . 


8.3.2 几 种 显 式 R-K 公式 


根据 不 同 的 级 数 , 本 节 给 出 几 种 常用 的 显 式 R-K 公式 及 其 参数 计算 方法 . 首先 看 2 级 

R-K 方法 ,其 公式 为 
a 
hh = f(t, ,ys) (8. 26) 
k» = fi, Ash,y, Ashki) 

需要 确定 三 个 待定 参数 oi .cs ,hz 的 值 ,以 使 它 达 到 尽 可 能 高 的 准确 度 阶 数 . 下 面 针 对 模型 

问题 (8.7) 推 导 其 局 部 截断 误差 , 先 写 出 w+i 的 表达 式 ( 这 里 的 f(1,y) 二 Ay) 

yn = Ya hlcikit cks) = yt chAy tt cohA Cy AshAyn). 
基于 y, 王 y(t) 的 前 提 假 设 , 则 
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yan = yt)L1T Cc ez) Rt cds (haA)? 1. (8. 27) 
再 看 y(t+1) ,在 1 二 处 进行 泰勒 展开 ,得 


/ hz LA [ss LA 
y(t) =yt) 二 hy (t,) + 2 y (t,) + 3Ty Gt 
4 3 
=y()|1 E 斋 习 -一 -一 eh (8. 28) 


由 于 局 部 截断 误差 lt1—= y(t ) 一 yn+l ;对 比 式 (8. 27) 和 式 (8. 28) 可 以 看 出 ,最 多 达到 2 阶 
准确 度 , 即 


1 = Os), 
此 时 要 求 待定 参数 满足 方程 
| 
ee (8. 29) 
2 


方程 组 (8. 29) 没 有 唯一 的 解 , 将 任 一 个 解 代入 式 (8. 26) 都 得 到 一 个 2 阶 R-K 公式 . 例如 ， 
C1 三 cs 二 1/2,Nhz 二 1, 则 得 到 公式 


yn = 二 好 (h 和 


fg) (8. 30) 
ks = f(t,th, yt hki) 
该 公式 被 称 为 Heun 方法 ,也 称 为 改进 的 欧 拉 法 . 
公式 (8. 30) 可 以 改写 为 如 下 形式 : 
| TH = Yn hf ts yn) (8. 31) 
| ys = +) + farm yn)]. (8. 32) 


它 说 明 Heun 方法 可 看 成 是 欧 拉 法 与 梯形 方法 的 组 合 , 即 将 欧 拉 法 的 结果 作为 初始 解 代 入 
梯形 法 对 应 的 不 动 点 迭代 法 中 迭代 一 次 ,得 到 w+ 的 近似 解 . 这 就 是 “改进 的 欧 拉 法 ”名 字 
的 由 来 . 另外 ,也 可 将 公式 (8. 31) 得 到 的 + 看 成 是 预测 值 , 它 精度 较 差 ,公式 (8. 32) 的 作 
用 就 是 对 它 进行 一 次 校正 . 这 种 使 用 两 个 公式 构成 一 对 “预测 -校正 ”公式 也 是 常见 的 常 微 
分 方程 初 值 问题 求解 方法 . 
另 一 种 具有 2 阶 准确 度 的 2 级 公式 是 
Ynt1 = Yn 二 hk2 
ki = f(b, yn) 
名 一 f(4 十 多 ,yo 十 多 ) 
它 对 应 于 方程 (8. 29) 的 解 : ca 三 0,c 王 1,) 王 1/2. 公式 (8. 33) 也 称 为 中 点 公式 ,相当 于 用 
中 矩形 公式 计算 式 (8. 23) 中 的 积分 . 
在 上 述 推导 中 , 仅 考 虑 了 模型 问题 ,而 对 于 一 般 的 问题 (8. 4) ,使 用 多 元 函数 泰勒 
展开 等 技巧 也 可 得 出 相同 的 结论 , 即 2 级 公式 最 多 达到 2 阶 准确 度 , 且 要 求 参 数 满足 


， (8. 33) 


方程 (8. 29). 
对 于 3 级 .4 级 R-K 公式 ,我 们 省 略 推 导 过 程 ,直接 给 出 达到 最 高 阶 准确 度 时 有 关 参 数 
所 满足 的 方程 . 
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3 级 R-K 公式 为 
i Yn 二 hlcikit ck csks) 
ki = ft, yn) 
ks = ft, Ash, yt Ashki) 
ks = ft, tAsh, ys paihki + pszhks) 
它 最 多 能 达到 3 阶 准确 度 ,相应 地 要 求 参数 满足 方程 
ci 十 cz 十 cs 王 1 
ha = p31 + p32 
CAs: csNs = 1/2s 
cz 十 ca 一 1/3 
cahzps2 = 1/6 
显然 方程 (8. 35) 的 解 不 唯一 ,下 面 给 出 两 种 常见 的 3 阶 R-K 公式 . 一 种 是 


yn = 十 个 ( 和 


ki = ft, ,yn) 


忆 一 (十 去 ,水 十 过后 ) 


ks = ft, th, ys — hkit 2hk;) 
它 被 称 为 3 阶 Kutta 公式 , 另 一 种 是 Ralston 公式 8] ， 


= 十 全 (36 3 


ki = fts yn) 


如 一 f(s 十 如, 十 如 所) 


名 一 f(s 十 加,y 二 闻 ) 


(8.34) 


(8. 35) 


(85.36) 


C8.37) 


对 于 4 级 R-K 公式 ,可 以 证 明 它 最 多 达到 4 阶 准确 度 . 下 面 给 出 一 种 常用 的 4 级 .4 阶 


R-K 公式 
oo 一 十 全 十 2 十 2 十 hh) 
Ai 一 (yn) 


让 二 了 (4 十 分,y 十 多) : 


ks j 人 到 ,加 十 Sk ) 


k= ft, h,y, hk) 


仿 叶 


i 
例 8.7(R-K 公式 ): 求解 常 微分 方程 初 值 问题 


(8. 38) 


被 称 为 4 阶 经 典 R-K 公式 . 事实 上 , 若 三 函数 只 与 ! 有 关 , 则 式 (8. 38) 就 是 辛普森 求 积 
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ye 

取 /一 0.1, 计 算 y(2) 的 值 ,比较 2 阶 Heun 公式 、3 阶 Ralston 公式 、4 阶 经 典 Runge-Kutta 
公式 的 结果 . 

【 解 】 易 知 此 问题 的 精确 解 为 y(D) 一 二 4 十 二. 将 2 阶 Heun 公式 .3 阶 Ralston 公 

式 ,4 阶 经 典 Runge-Kutta 公式 的 计算 结果 列 于 表 8-5 中 ,并 与 准确 解 对 比 , 从 中 可 以 看 出 ， 


方法 的 精度 阶 数 越 高 ,它们 计算 的 结果 也 越 接近 准确 解 (当然 计算 量 也 越 大 ). 4 阶 经 典 
Runge-Kutta 公式 的 结果 有 7 位 准确 的 有 效 数 字 . 


表 8-5 2 阶 ,3 阶 .4 阶 Runge-Kutta 公式 的 计算 结果 


和 2 阶 Heun 4 阶 Runge-Kutta 准确 值 

1 0.4 eT 0.4 

| 0.475 641 0.474 638 3 0.474 638 2 
党 0.583 408 0.581 386 8 0. 
1.3 0.728 135 0.725 066 3 .725 0662 
1.4 0.915 329 0.911 1773 OL E7271 
.151 110 1.145 833 6 1.145 833 3 
1.6 1.442 169 1. 435 720 3 1.435 7200 
.795 738 1.788 067 4 1.788 067 1 


=] 


581 3867 


OO 


a 


二 


业 2.219 578 2.210 561 2.210 631 5 2.210 631 1 
下 和 2.721 961 2.711 606 2.711 683 6 2.711 683 2 
2.0 3.311 665 3.299 916 3.300 000 4 3.300 0000 


当 7 二 2,3,4 时 ,经 过 合适 的 参数 设置 ,r 级 R-K 公式 能 取得 的 最 高 准确 度 阶 数 也 是 x. 

这 意味 着 ,公式 中 计算 函数 的 次 数 增加 1 ,准确 度 阶 数 也 增加 1. 那么 ,是 否 任意 的 7 级 公式 

都 可 以 达到 ~ 阶 准确 度 呢 ? 答案 是 否定 的 . 表 8-6 列 出 了 各 级 R-K 公式 所 能 达到 的 最 高 准 
确 度 阶 数 . 


表 8-6 各 级 R-K 公式 能 达到 的 最 高 准确 度 阶 数 


级 数 + 9 
最 高 准确 度 阶 数 7 


从 表 8-6 看 出 ,r>4 对 应 的 r+ 级 R-K 公式 已 达 不 到 7 阶 准确 度 ,因此 为 了 提高 1 阶 准 
确 度 ,需要 增加 较 多 的 函数 计算 次 数 . 所 以 基于 计算 效率 上 的 考虑 ,高 于 4 级 的 R-K 公式 很 
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少 被 单独 使 用 . 
8.3.3 显 式 R-K 公式 的 稳定 性 与 收敛 性 
下 面 分 析 2 阶 R-K 公式 (8. 30) 的 稳定 性 ,考虑 模型 问题 可 推出 


2 
=»[1 FX 4 一 |， 


因此 稳定 区 域 由 
ra 十 


决定 . 车 假设 4 为 复数 ,稳定 区 域 的 推导 比较 复杂 ,这 里 考虑 4 为 实数 的 简单 情况 ,可 推出 
(假设 4 二 0) 


2 
|<1 (8. 39) 


三 涩 
BA 


这 是 稳定 性 对 步 长 的 限制 ,恰好 与 欧 拉 法 一 样 . 另外 ,对 于 其 他 的 参数 满足 方程 (8. 29) 的 2 阶 
R-K 公式 , 它 对 模型 问题 的 稳定 区 域 都 由 公式 (8. 39) 确 定 , 详 细 证 明 请 感 兴趣 的 读者 思考 . 
对 于 3 阶 .4 阶 R-K 公式 ,其 保持 稳定 所 需 满足 的 不 等 式 分 别 为 (针对 模型 问题 ) 


2 3 
ta+ 加 + 加 x ls (8. 40) 
(RA (haA)s 《也 并 
[+ 全 + 人 + 全 |<1 (C8.41) 
若 4 为 实数 , 则 得 到 稳定 性 对 步 长 的 限制 分 别 近 似 为 
= 
<— 
和 
=—2.78 
去 一 一. 
hh 过 x 


事实 上 , 显 格式 R-K 公式 都 不 是 无 条 件 稳定 的 . 为 提高 稳定 区 域 的 范围 ,还 可 以 构造 
出 隐 式 R-K 方法 ,相关 的 讨论 超出 了 本 书 的 范围 . 
前 面 曾 指 出 ,一 般 只 需 准 确 度 阶 数 p 三 1, 就 能 保证 常 微分 方程 数值 解法 的 收敛 性 , 即 误 
差 随 步 长 减 小 而 收敛 到 0. 下 面 介 绍 一 种 相 容 性 条 件 , 可 方便 地 判断 一 般 的 龙 格 - 库 塔 公 
式 (8. 24) 是 否 具 有 收敛 性 . 
考虑 求解 初 值 问题 (8. 4) 的 一 般 的 显 式 单 步 法 : 
Ynt1 = Yn ho ts ,Yn sh), (8. 42) 
其 局 部 截断 误差 为 
ln 一 yCbH) 一 ynH 
=y(tan) — [Lyi) + hpi, y(t,),h)] 
=hy’(t,) + Oh) —h[iglt,, y(t) ,0) 十 OGA 
一 jy (1,) — hg(t,» y(t,) ,0) + OR) 
l+1 二 OCh?*!),p 宇 1 的 充 要 条 件 是 上 式 中 久 的 一 次 项 系数 为 0, 即 
y= fy = pt yh) ,0). 
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由 于 4 的 一 般 性 ,上 式 说 明了 如 下 的 函数 等 式 
DCty,0) = f(t,y), C8 43) 
它 被 称 为 显 式 单 步 法 的 相 容 性 条 件 . 
实际 上 , 相 容 性 条 件 (8. 43) 也 很 直观 , 它 表明 h 一 0 时 , 单 步 法 中 的 增 量 函数 p(t,y,) 
的 极限 是 y (7). 这 正好 与 “差分 的 极限 为 导数 ”的 观念 吻合 . 对 于 一 些 表达 式 复 杂 的 单 步 
法 ,判断 相 容 性 比分 析 局 部 截断 误差 简单 ,可 利用 它 分 析 是 否 满足 收敛 性 这 个 基本 条 件 . 例 
如 ,对 于 式 (8. 24) 表 示 的 R-K 公式 ,根据 相 容 性 条 件 可 推出 


> 关 : 况 (8. 44) 
这 正 是 所 有 可 用 的 R-K 和 公式 都 应 满足 的 条 件 . 


8.3.4 自动 变 步 长 的 R-K 方法 


R-K 方法 的 一 个 重要 优点 是 计算 w+ 时 不 需要 t 时 刻 以 前 的 函数 值 ,这 使 得 计算 是 
“ 自 启动 ”的 ,在 计算 过 程 中 很 容易 改变 步 长 . 因此 ,R-K 方法 易于 编程 实现 ,也 得 到 了 普遍 
使 用 . 另 一 方面 ,虽然 对 R-K 方法 可 进行 稳定 性 分 析 和 局 部 截断 误差 分 析 , 但 在 实际 应 用 
中 很 难 提供 与 步 长 有 关 的 误差 估计 ,如 何 自动 改变 计算 步 长 达到 最 佳 计 算 效 率 成 为 迫切 需 
要 解决 的 问题 
本 节 介 绍 一 种 自动 变 步 长 的 R-K 方法 ,也 称 为 蔡 入 式 (embeded)R-K 方法 , 它 使 用 一 对 
不 同 阶 R-K 公式 计算 结果 的 差 作 为 误差 估计 ,自动 控制 步 长 的 大 小 ,从 而 使 整体 计算 达到 
较 高 的 效率 . MATLAB 中 求解 常 微分 方程 初 值 问 题 的 命令 ode23、ode45 都 采用 了 自动 变 
步 长 的 R-K 方法 ,其 中 ,ode23 的 算法 由 Bogachi 和 Shampine 于 1989 年 发 表 , 简 称 为 BS23 
算法 .下 面 对 它 做 些 介绍 . 
自动 变 步 长 R-K 方法 的 基本 思想 是 : 若 两 个 公式 分 别 具 有 p 和 pp 十 1 阶 准确 度 , 则 它 
们 的 差 可 作为 误差 估计 . 假设 p 和 十 1 阶 准确 度 的 两 个 公式 的 值 分 别 为 mw 和 y, ,根据 准 
确 度 的 含义 ,车 假设 第 nn 步 的 值 是 准确 的 , 则 
Fr — Yt) 一 OCR) = cpnht! + Oh )， (8. 45) 
yn — yt) = Ott?), (8. 46) 
其 中 ,cp 为 与 步 长 h 二 tr 一 4 无关 的 系数 .对 于 pp 阶 准确 度 的 值 yY,ri, 若 忽略 高 阶 小 量 ， 
则 其 局 部 截断 误差 为 
Uy 人 (8, 47) 
而 将 式 (8. 45) 减 去 式 (8.46) ,忽略 高 阶 小 量 ,得 
i (8. 48) 
对 比 式 (8. 47) 和 式 (8. 48)， ae 在 实际 使 
用 时 ,由 于 w+ 准确 度 一 般 将 它 作 为 1 时刻 的 近似 解 ,这 种 做 法 也 称 为 局 部 外 推 
(local ee i 
另外 ,由 于 yi1 的 整体 误差 一 般 为 OC(h271), 对 于 用 不 同步 长 h 和 hh' 算 出 的 两 个 值 
yy 办 /和 ya, 它们 的 误差 满足 关系 式 


~( < ] ， (8. 49) 
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因此 , 当 eS 超过 阔 值 时 ,可 利用 式 (8. 49) 估 算出 产 使 改变 步 长 后 的 计算 结果 满足 精度 
在 BS23 算法 中 ,使 用 了 具有 2 阶 、3 阶 准确 度 的 一 对 公式 . 其 中 ,3 阶 公式 是 Ralston 

公式 (8. 37) ,而 2 阶 公 式 为 

示 a 三 外 + 茄 (7h 6h 二 BE 直上 3k) 

ki = f(t, ,yn) 

h 0 
和 二 fH 十 台 ' 和 十 卫生 ) (8. 50) 
3h 3h 

hh =f (n+ 二 中 二 kz ) 

如 二 了 (十 hry 十 名 (2 十 3 和 十 4h)) 
注意 ,公式 (8. 50) 比 较 特 殊 , 它 是 4 级 公式 但 只 有 2 阶 准确 度 . 而 且 式 (8. 50) 中 的 前 三 个 导 


数 近似 值 与 式 (8. 37) 中 的 一 样 , 只 是 增加 了 一 个 心 . 
此 除 和 
方法 的 算法 描述 . 


算法 8.1: 


由 于 计算 名 时 的 时 间 自 变量 为 , 因 


币 一 步 外 ,ki 总 与 上 一 步 的 & 相同 . 基于 BS23 算法 ,我 们 给 出 自动 变 步 长 龙 格 - 库 塔 


求解 常 微分 方程 初 值 问题 的 自动 变 步 长 BS23 算法 . 


输入 : 函数 f(i,y) ,to ,yo ,终点 0, 误 差 阔 值 tol; 输出 : y(n 二 1,2,…). 


ki := f(t ,yo); 
hh: 二 初始 步 长 ; 


While 1, <0 ,do 


及 :人 十 全 ,二 号) 


避 :一 (5 十 中， 加 十 于 本 ); 
Cn 0 
yt := 十 二 (2k 二 3k 二 4h) 


ea a A 


err :一 =|+ rp ki oR Sk “980 
If err<tol then 
/总 
n :一 7 十 1; 
End 
h : 一 ww。 tol h; 
err 


从 算法 8. 1 看 出 ,针对 每 个 步 长 ,只 计算 三 


次 f 函数 的 值 ,可 得 到 2 阶 和 3 阶 R 


a 为 小 于 1 的 某 个 值 ,例如 0. 9} 


长 公 
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式 的 结果 . 为 了 避免 抵消 现象 ,实际 上 并 不 算出 2 阶 公 式 的 结果 再 与 3 阶 公 式 结 果 相 减 ,而 
直接 计算 它们 的 差 
h 


i 72 人 5k1 + 6k; 十 8Rs 一 9A4) (8.51) 


作为 误差 的 估计 . 另外 ,由 于 具有 3 阶 准确 度 ,通过 计算 a* -eh 调整 步 长 可 以 使 新 步 长 


满足 精度 要 求 . 一 般 情况 下 ,在 每 个 时 间 点 上 最 多 ”1， 
只 需 调整 一 次 步 长 . 

实际 的 程序 要 比 算法 8. 1 复杂 一 些 , 例 如 初 
始 步 长 的 选取 、 估 计 相对 误差 以 及 步 长 变化 都 需 
要 一 些 经 验 上 的 考虑 . 文献 [7] 给 出 了 一 个 BS23 
算法 的 简化 实现 : ode23tx 程序 , 它 进行 了 相对 误 
差 估计 ,默认 的 相对 误差 阔 值 为 10-*. 采用 该 程 | 
序 求解 例 8.5、 例 8.6 中 的 常 微分 方程 初 值 问题 ， 02l ，，，，，，， 
得 到 的 结果 曲线 示 于 图 8-6 中 ,从 中 可 以 看 出 自 0 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16 
动 变 步 长 的 效果 . 关于 ode23tx 的 更 多 细节 , 感 兴 图 8-6 自动 变 步 长 R 必 算法 求解 例 8 5、 
趣 的 读者 可 参考 文献 [7] 以 及 相关 的 文献 全 到 6 中 的 问题 


8.4 多 步 法 


前 面 介绍 的 方法 都 是 单 步 法 ,只 利用 了 前 一 个 时 间 点 的 信息 mw 计算 y,+1. 多 步 法 
(multiple-step method) 则 不 同 , 它 利用 前 面 若干 点 的 信息 得 到 下 一 点 的 函数 近似 值 ,也 称 
为 记忆 法 (method with memory). 求解 常 微 分 方程 初 值 问题 (8. 4) 的 多 步 法 一 般 是 线性 多 
步 法 ,具有 如 下 形式 : 


Yntl 一 > aiynhri 证 太 DS Bf Cprs » Yr-i) ， (8. 52) 
i=1 i=0 


其 中 ,h 为 步 长 ,ai (i 二 1,2,…,m) ,Bi 二 0,1,…,m) 为 待定 参数 . 由 于 公式 中 包含 前 mm 点 的 
函数 近似 值 ,公式 (8. 52) 称 为 线性 m 步 法 . 若 房 夫 0, 为 隐 格 式 方法 ,否则 为 显 格式 方法 . 注 
意 , 这 里 假设 步 长 是 不 变 的 ,从 而 简化 公式 的 推导 . 


8.4.1 多 步 法 公式 的 推导 


类 似 于 龙 格 - 库 塔 方法 ,通过 使 公式 (8. 52) 具有 尽 可 能 高 阶 的 准确 度 , 可 求 出 多 步 法 计 
算 公 式 中 的 参数 w 和 BB;. 本 节 介 绍 两 种 推导 多 步 法 公式 .确定 其 中 待定 参数 的 方法 . 一 种 
采用 泰勒 展开 , 另 一 种 假设 未 知 函 数 为 单项 式 函 数 ,它们 都 得 到 参数 满足 的 线性 方程 组 . 

1. 泰勒 展开 法 

根据 局 部 截断 误差 的 定义 (定义 8.3) ,对 于 多 步 法 公式 (8. 52) ,其 局 部 截断 误差 为 


bntl =YItnn) 一 Ynt 


一 y(CtpH) — Daiy titi) — ho Bf nmisy tn)) 
i=1 i=0 


m 


= Dra h DBy Chad) (8. 53) 
i=1 


i=0 


i 
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对 于 y(t 和 (GDG 一 0,1,…,72) ,在 t= 二 t+i 处 进行 泰勒 展开 ， 
y(t) = y(t ih) 
下 


3 
人 ye (nn) + ee, 


二 y(ti1) 一 讯 y (tn) 十 ny 


CA ( 谢 )3 


yG Ep) 一 


yi) = y(t) 一 访 y (bn) 十 一 一 yO tn) 二, 


将 它们 代入 式 (8. 53) ,整理 后 得 到 
ln =y(ton) [1— Sa hy' Gd) [ Pia, 一 Dp] 


m .2 m 


+ hy Pam) [— Da 于 十 > 8 | (8. 54) 
一 般 地 ,hy (t+) 的 系数 为 


j= igs k=0 
i=1 


i=1 


则 

la = coy tap) ohy (ton) ct ch y tn) t+, (8.56) 
只 需 令 04 二 0,k 二 0,1,…,p; 则 4ri 二 O(h2™) ,多 步 法 (8.52) 达 到 户 阶 准确 度 . 所 以 确定 多 
步 法 中 参数 w 和 记 的 线性 方程 依次 为 


oa 十 oz 十 … 十 om 一 1 


a 十 2az 十 十 man 二 局 十 记 十 … 十 B， 
(8. 57) 


Fa 十 4@z 十 十 m?am) 二 Bi 十 2B 十 … 十 mB 


其 中 ,前 两 个 方程 代表 了 线性 多 步 法 的 相 容 性 条 件 ( 准 确 度 阶 数 p 三 1) ,满足 它们 才能 有 数 
值 求 解 的 收敛 性 . 
例 8. 8( 通 过 泰勒 展开 推导 多 步 法 ): 假设 有 形 如 了 
ynr+Hl 一 Ql yw 非 天 拟态 在 友 太 9 
的 两 步 法 公式 , 试 确定 其 中 参数 ,使 其 具有 和 较 高 的 准确 度 . 
【 解 】 在 本 题 的 公式 中 多 步 法 系数 B, 二 0, 要 确定 三 个 参数 a、B、B. 列 出 方程 
组 (8.57) 中 的 前 三 个 方程 


al 一 1 
ad 一 记 十 太 
J 


@ 为 了 表达 简便 ,用 f+1-i; 表 示 (tnti-isyat1-i) ,i 二 0,1,*… 
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解 得 : wm 一 1, 记 一 半 , 记 一 一 于 .得 到 公式 
庆生 一 Wh (ff zf ) (8.58) 
具有 2 阶 准确 度 . 可 


从 例 8.8 看 出 , 若 多 步 法 公式 中 包含 p 个 待定 参数 ,至 少 可 达到 p 一 1 阶 准确 度 ,只 需 
求解 线性 方程 组 (8. 57) 中 的 前 p 个 方程 . 

2. 单项 式 函 数 代入 法 

根据 上 述 泰 勒 展开 法 的 推导 过 程 ,也 可 以 另 一 种 更 直观 的 方式 得 到 确定 系数 的 方程 . 
假设 要 使 i+i 二 On?+1), 即 公式 (8.52) 达 到 户 阶 准确 度 ,这 要 求 公 式 (8. 54) 中 前 p 十 1 项 都 
等 于 0, 则 


Li = crih ee ye D(a) ts 

其 中 ,包含 了 > 也 数 的 p 十 1 阶 及 更 高 阶 导 数 . 如 果 假 设 y()==# (i 二 0,1,…,p) ,将 它们 代 
入 上 式 , 易 知 均 使 得 4+ 二 0. 这 恰好 也 构成 了 p 十 1 个 方程 ,可 通过 它 求解 待定 参数 w 和 
Bi. 我 们 总 结 出 如 下 定理 . 

定理 8.2: 对 于 求解 常 微分 方程 初 值 问 题 的 多 步 法 (8.52), 关 当 y(t) 二 1 (i 二 0,1,…， 
pp) 时 , 均 有 局 部 截断 误差 4411 二 0, 则 多 步 法 (8. 52) 至 少 具有 pp 阶 准确 度 . 若 同时 在 y(7) 一 
2 时 2 天 0, 则 多 步 法 (8.52) 恰 好 有 z 阶 准 确 度 . 

这 种 方法 的 具体 做 法 就 是 ,将 y(1) ==zi (i 二 0,1,…,p) 依 次 代入 方程 

ln = yCbH) 一 yl 一 0， 

得 到 关于 参数 w 和 Bi 的 方程 ,求解 后 即 得 到 满足 准确 度 要 求 的 多 步 法 公式 . 

例 8.9 (利用 单项 式 函 数 推导 多 步 法 ) : 对 例 8. 8 中 的 两 步 法 ,利用 单项 式 函 数 代 入 法 
求 待定 参数 的 值 . 

【 解 】 在 计算 局 部 截断 误差 时 ,假设 前 几 步 的 近似 解 均 准确 , 则 

brn = ) 一 nt 
一 yi) — {ay ) thLBy (6) Ry Ci)]} 

将 y() 二 1,y(7) 二 1,y(t) 二 依次 代入 上 式 , 并 令 4,41 二 0, 得 到 如 下 方程 组 : 


1 一 al 一 0 
| 一 oa 为 一 六 8 十 房 ) 一 0 
fin —at —h(2Bt,t 2Bt 1) = 0 
考虑 到 4、h 的 取 值 可 以 任意 ,得 到 如 下 线性 方程 组 
l—a=0 
| 十 永 ) = 0， 
1 二 2 二 0 
其 解 为 a 一 1,8, 一 子 , 访 一 一 元 ,与 例 8.8 的 结果 相同 . 国 
从 上 例 看 出 ,采用 单项 式 函 数 代 入 局 部 截断 误差 公式 的 方法 也 能 获得 满意 的 效果 ,而 且 
不 需要 记忆 公式 (8.57) 或 者 利用 泰勒 展开 进行 烦琐 的 推导 ,因此 常 被 使 用 . 


由 于 线性 多 步 法 涉及 线性 差分 理论 ,其 收敛 性 的 概念 与 判定 有 些 特别 ,下 面 简略 介绍 . 
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定义 8.5: 设 初 值 问题 (8.4) 有 精确 解 y(t). 使 用 线性 多 步 法 (8. 52) 解 此 初 值 问题 ,多 
步 法 的 启动 计算 条 件 为 : yi; 二 nr(h) ,i 二 0,…,m 一 1 其 中 性 为 步 长 . 若 有 : 
limy: (1) 一 yX，1i 一 0,1,…,7 一 1， 
有 lim yw 三 y(to 十 nh), 则 称 线性 mx 步 法 (8. 52) 是 收敛 的 . 
线性 多 步 法 的 相 容 性 条 件 并 不 能 保证 其 收敛 性 ,例如 ,用 线性 二 步 法 
yueH = Yr — 2 Th(fr —2fei) 
> 二 0，y1= 二 0 
解 初 值 问题 y (7) 二 21,y(0) 二 0 满足 相 容 性 条 件 , 但 并 不 收敛 . 详细 讨论 留 给 读者 推导 、 思 
考 .下 面 的 定理 给 出 了 线性 多 步 法 收敛 的 充 要 条 件 . 
定理 8.3: 线性 多 步 法 (8.52) 是 相 容 的 , 则 按 计算 公式 


和 和 > aye 十 下 2 » Ynt1-i ) 
i=1 i=0 


Y= RR, t=0,%,mO—1 
解 初 值 问题 (8. 4) 的 线性 多 步 法 收敛 的 充分 必要 条 件 是 特征 方程 


p(X) = x"— Dar™ 一 0 
的 根 都 在 复 平面 的 单位 圆 内 或 单位 圆 上 , 且 在 单位 辆 上 的 根 为 单 根 . 
定理 8. 3 的 证 明 可 见 文献 L39], 
8.4.2 Adams 公式 
有 一 类 多 步 法 称 为 Adams( 亚 当 姆 斯 ) 公 式 , 它 具有 如 下 的 形式 : 


yntH 三 yn 十 hh SFC » Vnt1-i ) ， (6:59 
i=0 


对 比 多 步 法 的 一 般 形式 (8. 52), Adams 公式 中 只 包含 前 一 个 时 间 点 上 的 函数 近似 值 , 根据 
方程 组 (8. 57) 中 的 第 一 个 方程 看 出 , 形 如 式 (8. 59) 的 Adams 公式 已 满足 该 方程 ,因此 至 少 
具有 0 阶 准确 度 . 根据 B 是 否 为 0, 又 分 为 Adams 显 格式 公式 和 Adams 隐 格 式 公式 两 种 ， 
一 般 通 过 选取 适当 的 B; 参数 使 公式 (8. 59) 具 有 最 高 阶 的 准确 度 . 

首先 考虑 Adams 显 格式 公式 , 即 B= 二 0 的 情况 . 根据 方程 组 (8. 57) 可 进一步 看 出 ,参数 
B (一 1,… ,722) 满 足 的 线性 方程 组 的 系数 矩阵 为 


1 1 1 
国人 
1? 22 32? 


它 是 某 个 范 德 蒙 矩阵 ( 见 6.4.2 节 ) 的 转 置 ,必定 非 奇异 . 因此 ,可 唯一 地 解 出 BC 一 1,…， 
m) 的 值 ,使 得 mm 步 Adams 显 格式 公式 满足 方程 组 (8. 57) 中 的 前 x 十 1 个 方程 ,达到 m 阶 准 
确 度 . 对 于 Adams 隐 格 式 公式 ,待定 的 参数 为 B. (i 二 0,1,…,m) ,可 类 似 地 证 明 它 满足 的 线 
性 方程 组 的 系数 矩阵 也 是 非 奇 异 的 ,因此 有 了 唯一 的 一 组 B. (i 二 0,1,…,m) 的 取 值 使 得 方程 
组 (8.57) 中 的 前 x 十 2 个 方程 成 立 . 换 句 话说 ,m 步 Adams 隐 格 式 公 式 最 多 可 达到 m 十 1 
阶 准确 度 . 总 结 上 述 讨论 ,得 到 如 下 定理 . 
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定理 8.4: 形 如 式 (8.59) 的 m 步 Adams 公式 ,若是 隐 格 式 公式 ,可 达到 mm 十 1 阶 准确 
度 ;若是 显 格式 公式 ,可 达到 m 阶 准确 度 . 

在 无 特殊 说 明 的 情况 下 ,Adams 公式 即 指 形 如 式 (8. 59) 的 具有 最 高 阶 准确 度 的 显 格式 
公式 和 隐 格 式 公式 . 

若 通过 求解 线性 方程 组 来 推导 Adams 公式 中 系数 B.(i 王 0,1,…,m) ,计算 比较 复杂 , 因 
此 一 般 并 不 使 用 . 实际 上 ,根据 Adams 公式 的 特点 可 通过 对 前 面 若 干 个 点 上 的 导 函 数 
y 三 做 插值 ,然后 对 插值 多 项 式 积分 进行 推导 . 假设 用 插值 多 项 式 PCs) 近 似 公式 

y(t) = yt) + fv)ds 

中 的 被 积 函 数 f(s,y(s)) ,插值 节点 为 连续 的 时 间 点 +i, 刀 ，… ,tsi-m， 而 被 插值 也 数 值 为 
对 应 的 f 函数 近似 值 Or Ci , 则 得 到 计算 公式 为 


rt th 
Se +| Psydss (8. 60) 


准确 计算 多 项 式 积分 后 , 则 得 到 形 如 式 (8. 59) 的 公式 . 若 插值 节点 包括 ;二 t+41 ;为 隐 式 公 
式 ,否则 为 显 式 公式 . 

应 当 指 出 ,上 述 利用 拉 格 朗 日 插值 的 推导 方法 不 需要 求解 线性 方程 组 ,非常 方便 .此 
外 ,如 果 被 插值 函数 为 多 项 式 函 数 , 则 插值 得 到 插值 函数 是 准确 的 ,再 结合 定理 8. 2 的 结论 ， 
也 可 分 析出 Adams 公式 的 准确 度 阶 数 . 具体 地 说 ,推导 Adams 隐 和 格式 公式 时 使 用 mx 十 1 个 
插值 点 ,因此 对 于 不 超过 m 次 多 项 式 的 被 插值 函数 都 是 准确 的 . 这 意味 着 在 分 析 局 部 截断 
误差 时 ,车 f(t,y)==y ==1,t,…,1", 均 有 lti = 二 0. 也 就 是 说 ,对 于 y(t)=ti(i==0,1,…， 
m 十 1) ,局 部 截断 误差 均 为 0, 所 以 根据 定理 8.2 知 隐 格 式 公 式 至 少 有 和 十 1 阶 准确 度 . 而 对 
于 显 格式 公式 ,使 用 了 mm 个 插值 节点 ,因此 得 到 的 公式 至 少 有 m 阶 准确 度 . 这 样 的 分 析 得 
到 与 定理 8. 3 一 致 的 结论 . 

下 面 通过 一 个 例子 说 明 利 用 插值 多 项 式 的 积分 推导 Adams 公式 的 过 程 . 

例 8. 10(Adams 公式 的 推导 ): 推导 mm 二 4 对 应 的 显 式 Adams 公式 . 

【 解 】 由 于 是 显 式 公 式 , 取 插值 节点 为 ;4-14-s，b-3， 利 用 拉 格 朗 日 公式 得 到 插值 
多 项 式 


(8 —= hs = (SS= 8) 


P(s) = A ED ee A 0 ee A 
Cs = 
tT fm (te ts) ts) (tO— ta) 
f i ek 
(hs (es br (hs sy 
ps (= 
Ce yb 
(ed 2 仙人 全 和 
fn Gp 
nd 
Pe 4 - - 
(sO 
3 S 站 党 3 
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人 
tf 一 : BE 
代入 公式 (8. 60), 对 多 项 式 函 数 积分 即 得 到 B., (i 二 1,… ,4). 先 看 六 的 系数 
wth (sh 
ph -| 站 5 


n 


2h 
= | tt 2 d 
1 大 


4 
和 Fh + ir) 


2h 


6 ”\ 4 

_ 1 .55，， 

= ae 

_ 5 

= hh. 
经 过 类 似 的 计算 ,得 到 其 他 几 个 系数 为 

一 .59 一 .37 人 
Bh = 2 ， Bh 24h’ Bh 2TA， 
因此 ,m 二 4 对 应 的 显 式 4 阶 .4 步 Adams 公式 为 
yn 一 加 十 攻 (55f, 一 59f1 十 37f2 一 9f3). 国 (8.61) 


公式 (8. 61) 具 有 4 阶 准确 度 , 被 称 为 显 式 4 阶 Adams-Bashforth 公式 .类似 地 ,可 推导 
出 具有 4 阶 准确 度 的 Adams 隐 和 格式 公式 , 称 为 隐 式 4 阶 Adams-Moulton 公式 


yn 一 ys 十 震 (9fmm +19f,— 5fo1 fz). (8. 62) 
应 注意 , 隐 式 4 阶 公 式 是 三 步 法 公式 . 男 外 ,前 面 学 过 的 欧 拉 法 、 向 后 欧 拉 法 以 及 梯形 法 公式 
都 可 看 成 是 Adams 公式 的 特例 ,分 别 对 应 于 m= 二 1 的 显 式 公 式 和 mm 二 0、m 二 1 的 隐 式 公式 . 
可 根据 模型 问题 分 析 多 步 法 的 稳定 性 . 例如 对 于 显 式 2 阶 Admas 公式 (8. 58) ,对 模型 
问题 y =Xy 的 计算 公式 为 


3 1 3 从 1 
yr 一 多 十 (于 in Fay ) (i+ > )» FM 
经 过 推导 得 
2 
1+ 及 十 所 十 半 织 一 
.yn+Hl 一 2 Vn 
或 
2 
1+ = 及 十 肥 十 半 织 一 
Yrntl 一 7 mn， 
因此 要 使 算法 稳定 ,必须 要 求 (假设 4 为 实数 ,日 4 二 0) 
2 
和 2 下 友 术 训导 0 
3 Ls 
且 


‘BO 
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2 
1 二 3 一 太 皇 观 + 


2 


天 一 不 
经 过 推导 得 到 
一 1 一 有 公 < 到 0. (8. 63) 

不 等 式 (8. 63) 刻 画 了 显 式 2 阶 Admas 公式 (8. 58) 的 稳定 区 间 . 为 了 说 明 稳定 区 间 的 大 小 ， 
也 常 称 区 间 的 左 端 点 值 为 稳定 阅 值 ,例如 对 于 公式 (8. 58) ,其 稳定 阔 值 为 一 1. 

一 般 地 ,多 步 法 的 稳定 区 间 ( 稳 定 区 域 ) 的 推导 比较 复杂 ,不 要 求 掌 握 其 中 的 细节 , 特别 
地 , 某 些 多 步 法 的 稳定 区 间 可 能 是 空 集 , 即 对 任意 步 长 /0 它 都 不 稳定 ,因此 不 能 用 于 实际 
计算 中 (如 后 面 给 出 的 Milne 公式 ). 在 表 8-7 和 表 8-8 中 列 出 了 几 种 Adams 公式 的 参数 值 、 
稳定 阔 值 以 及 误差 常数 . 其 中 ,误差 常数 指 局 部 截断 误差 主 项 ( 见 8.2.2 节 ) 前 面 的 系数 . 

表 8-7 几 种 显 式 Adams 公式 的 参数 值 稳定 阅 值 以 及 误差 常数 


阶 数 有 稳定 阔 值 误差 常数 
1 1 二 1/2 
2 3/2 = 5/12 
3 23/12 =6/11 3/8 
4 55/24 一 9/24 一 3/10 251/720 


表 8-8 几 种 隐 式 Adams 公式 的 参数 值 .稳定 阅 值 以 及 误差 常数 


阶 数 B 有 Bs 稳定 阐 值 误差 常数 
1 i = =1/2 
2 1/2 4 一 co 一 1/12 
3 5/12 8/12 一 6 一 1/24 
4 9/24 19/24 1/24 一 3 一 19/720 


从 表 8-7 和 表 8-8 看 出 , 随 着 准确 度 阶 数 的 增 大 ,稳定 阔 值 也 变 大 ,意味 着 稳定 区 间 越 
来 越 小 .而 对 比 同 阶 的 显 格式 公式 和 隐 格 式 公 式 , 隐 式 公式 的 稳定 性 和 准确 度 (看 误差 党 
数 ) 都 好 于 显 式 公式 . 

使 用 隐 式 公式 时 ,求解 关于 y+1 的 方程 (一 般 是 非 线 性 方程 ) 需 要 估计 初始 解 , 它 一 般 
由 显 式 公式 提供 ,所 以 显 式 公 式 和 隐 式 公式 一 般 作为 预测 -校正 对 使 用 . 可 以 反复 使 用 校正 
公式 直到 迭代 解 满足 给 定 的 误差 限 ( 相 当 于 不 动 点 迭代 法 ), 但 这 样 做 可 能 并 不 划算 , 所 以 
一 般 将 校正 的 次 数 固 定 ,比如 只 校正 一 次 ,这 样 得 到 的 方法 就 是 预测 -校正 公式 (也 称 为 
PECE 格式 0). 

一 种 常用 的 预测 -校正 格式 为 Adams 预测 -校正 公式 , 它 使 用 显 式 4 阶 Adams- 
Bashforth 公式 (8. 61) 进 行 预测 ,使 用 隐 式 4 阶 Adams-Moulton 公式 (8. 62) 进 行 校正 . 


8.4.3 更 多 讨论 


除了 Adams 公式 , 另 一 类 常用 的 多 步 法 为 BDF(backward differentiation formula) 格 


四 ”PECE 是 英文 predict、evaluate、correct、evaluate 的 首 字母 缩写 ,其 中 evaluate 是 指 计算 f 函数 的 值 . 
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式 . 它 是 一 类 隐 格 式 多 步 法 ,具有 如 下 形式 : 


Yr 一 Siig 十 hBof (tn ,Yrri), (8. 64) 

其 特点 是 公式 中 只 针对 4 时 刻 计算 函数 .例如 ,3 阶 BDF 公式 为 
om 一 二 (la8m 一 9yr 二 29s) 十 于 fn. (8. 65) 
BDF 方法 的 推导 也 基于 拉 格 朗 日 插值 ,其 基本 思想 是 根据 y,y, 31, ys，… 构 造 近似 


y(t) 函数 的 多 项 式 P(7) ,再 利用 
frn 之 y (in) x P’' (tn) 
推导 出 公式 (8. 64) 中 的 参数 a;(i 二 1,…,m) 和 po. 这 里 省 上 略 具 体 的 过 程 , 感 兴趣 的 读者 可 自 
己 思 考 . 
还 有 两 种 著名 的 多 步 法 公式 是 Milne( 米 尔 思 ) 公 式 和 Hamming( 海 明 ) 公 式 , 它 们 分 别 为 


Yrt1 Ys + 一 [2 sh eT eh (8.66) 


Vnt1 言 (9y yi-2) | 和 (fm 2 (8. 67) 


Milne 公式 是 四 步 显 式 公 式 , 具 有 4 阶 准确 度 . Hamming 公式 是 三 步 隐 式 公式 ,也 具有 4 阶 
准确 度 . 这 两 个 公式 常常 构成 预测 -校正 格式 加 以 应 用 . 

关于 多 步 法 ,最 后 说 明 几 点 . 

(1) 由 于 可 利用 前 面 已 计算 的 函数 值 ,采用 多 步 法 求解 初 值 问 题 时 ,每 前 进一步 只 需 
计算 一 次 了 函数 值 ,因此 计算 效率 较 高 , 而且 计 算 量 几 乎 不 随 准 确 度 阶 数 的 提高 而 增 大 ,这 
是 相 比 R-K 方法 ( 单 步 法 ) 最 明显 的 优势 . 

(2) 由 于 需要 前 面 若干 点 上 的 函数 值 ,所 以 多 步 法 不 是 “ 自 启动 * 的 ,开始 时 必须 使 用 单 
步 法 或 者 低 阶 的 多 步 法 产生 足够 的 初始 值 . 

(3) 相 比 R-K 方法 ( 单 步 法 ), 多 步 法 的 编程 较 复 杂 , 尤 其 是 考虑 步 长 可 以 改变 的 情况 
就 更 加 复杂 . 

(4) 对 于 预测 -校正 格式 ,可 用 预测 值 与 校正 值 的 差 作为 局 部 误差 估计 ,构造 自动 变 步 
长 的 解法 . 

(5) 虽然 隐 式 方法 比 显 式 方法 更 稳定 ,但 并 不 是 无 条 件 稳定 的 . 事实 上 ,超过 2 阶 的 多 
步 法 都 不 是 无 条 件 稳定 的 . 

(6) 为 了 方便 ,本 节 只 讨论 了 步 长 固定 的 多 步 法 ,实际 的 软件 包 中 一 般 采 用 变 步 长 的 多 
步 法 ,其 计算 公式 的 推导 过 程 与 Adams 方法 、BDF 方法 类 似 . 


8.5 党 微分 方程 组 与 实用 技术 


实际 问题 中 往往 包括 多 个 相互 关联 的 系统 量 , 而 高 阶 常 微分 方程 也 可 化 成 1 阶 常 微分 
方程 组 ,因此 常 微分 方程 组 的 数值 求解 非常 重要 . 本 节 对 有 关 问 题 进 行 介绍 ,同时 结合 
MATLAB 的 相关 功能 介绍 求解 常 微 分 方程 (组 ) 初 值 问题 的 实用 技术 . 


8.5.1 1 阶 常 微分 方程 组 


通过 变量 代 换 ,可 将 高 阶 常 微分 方程 化 成 多 个 1 阶 常 微分 方程 ,因此 只 需 考虑 1 阶 常 微 
‘BOQ. 
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分 方程 组 ,同时 仅 考虑 显 式 方 程 , 即 
=) 
其 中 ,函数 f: RTI->R YL[Ly CD yy (1)] Ty 二 [y(t) … y(t)j". 得 到 相应 的 
初 值 问题 为 
? = (8. 68) 
y(to) = yo 
其 中 ,y。€E R" ,为 已 知 量 . 
将 定理 8. 1 推广 到 高 维 情 况 , 可 建立 常 微分 方程 组 初 值 问题 (8. 68) 可 解 性 的 理论 ,这 里 不 
详细 讨论 . 与 单个 常 微分 方程 的 情况 类 似 , 一 般 情况 下 问题 (8. 68) 的 解 总 是 存在 并 且 唯 一 的 . 
若 函 数 了 是 关于 y 的 线性 函数 , 则 得 到 线性 常 微分 方程 组 
y 一 4(D)y 十 DC ， (8.69) 
其 中 ,A(7) 为 nXn 和 矩阵 ,每 个 矩阵 元 素 均 为 1 的 函数 ,b(t) 为 n 维 列 向 量 . 更 特殊 的 一 种 情 
况 是 线性 、 齐 次 、 常 系数 常 微分 方程 组 
y = Ay, (8.70) 
其 中 ,AER"™*". 
分 析 常 微分 方程 组 初 值 问 题 的 敏感 性 时 ,定义 8. 1 仍然 适用 . 一 般 地 分 析 较 困难 ,只 对 
方程 (8. 70) 进 行 讨论 ,并 假定 矩阵 4 可 对 角 化 . 设 和 矩阵 4 的 ?个 特征 值 为 1,，…, ,对 应 的 
特征 向 量 为 v1 ,…,v,, 则 可 将 初 值 mw 表示 为 特征 向 量 的 线性 组 合 : 


Jo 一 Daivi. 
dm 
易 知 ,方程 (8.70) 对 应 的 初 值 问题 的 解 为 
yD) = Pavier me, CB.71) 


由 此 可 见 , 原 问题 的 稳定 性 由 特征 值 4;(i=1,…,n) 决 定 . 车 存在 某 个 4; 的 实 部 大 于 0, 它 使 
y(Ci) 包 含 一 个 随时 间 指 数 增 长 的 成 分 ,当初 值 发生 扰 动 时 , 带 来 的 误差 将 随 1 一 2 而 发 散 . 
反之 , 若 对 每 个 特征 值 都 有 Re(4;) 三 0, 则 初 值 的 扰动 不 会 使 得 解 的 误差 发 散 . 根据 定义 
8. 1 我 们 知道 ,方程 (8.70) 对 应 的 初 值 问 题 稳定 的 充 要 条 件 是 Vi, Re(4;) 三 0, 这 说 明 分 析 它 
的 稳定 性 需 考察 矩阵 4 的 特征 值 . 

对 一 般 的 非 线性 常 微分 方程 组 y = 二 f(t,y) ,只 能 分 析 某 个 给 定 解 y(t) 附 近 的 局 部 稳定 
性 . 通过 泰勒 展开 将 常 微分 方程 局 部 线性 化 ,产生 形 如 

z’ = J/(t,y)z C8 72 

的 线性 常 微分 方程 组 ,其 中 ,Jjy 是 了 关于 y 的 雅 可 比 和 矩阵 (第 2.7 节 中 的 定义 2.4), 未 知 函 数 为 z. 
根据 前 面 讨论 ,分 析 (8.72) 的 稳定 性 只 需 看 矩阵 J 的 特征 值 . 一 般 地 , 雅 可 比 矩 阵 的 值 还 依赖 于 
自 变 量 上 的 取 值 ,所 以 根据 它 可 分 析 具 体 点 附近 的 稳定 性 ,得 到 的 结论 是 局 部 有 效 的 . 

例 8. 11 (牛顿 第 二 定律 ) : 牛顿 第 二 运动 定律 : 二 ma, 即 力 下 等 于 质量 mm 乘 以 加 速度 
a, 它 可 能 是 最 著名 的 常 微分 方程 . 这 个 方程 建立 了 物体 的 空间 位 置 与 其 2 阶 导 数 之 间 的 关 
系 . 若 考 虑 一 维 空间 内 的 运动 ,物体 位 置 为 单个 函数 y(7) , 则 微分 方程 为 

my’(t) = F(t,y,y (CD))， 
其 中 , 力 下 通常 与 时 间 上 .位置 y(1) 和 速度 y (1) 有 关 . 试 写 出 等 价 的 1 阶 方程 组 ,并 分 析 当 
。 300 。 
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下 与 y(7)、y (oO 无 关 时 相应 初 值 问题 的 稳定 性 . 
【 解 】 记 yj 二 y(7) ,一 y (0 , 则 等 价 的 1 阶 方程 组 为 


1 一 3 
/ F(tyWs . 
光一 1 ,232 ) 


m 


车 下 与 y(?)、y (Oo 无 关 , 则 此 方程 组 为 线性 、 常 系数 常 微分 方程 组 ,系数 矩阵 为 
-1 
0 0 
矩阵 4 可 对 角 化 , 且 两 个 特征 值 均 为 0, 因此 初 值 问题 是 稳定 的 . 图 
例 8.12 (化 学 反应 建 模 ): 假设 三 种 化 学 物质 的 浓度 随时 间 变 化 的 函数 为 y (7)、 
yz (7) 、ysa(t)， 如 果 在 化 学 反应 中 第 一 种 物质 变 为 第 二 种 物质 的 速度 与 wm 成 正比 ,第 二 种 物 
质变 为 第 三 种 物质 的 速度 与 y 成 正比 , 试 建立 这 三 个 浓度 所 满足 的 常 微分 方程 组 ,分 析 其 
类 型 和 初 值 问题 的 稳定 性 . 
【 解 】 根据 题 意 ,可 建立 如 下 微分 方程 组 : 
y1=— kiy 
| kiy1 一 如 yz， 
ys 二 kz yz 
其 中 ,ki ,ks 为 反映 反应 速度 的 比例 常数 , 均 大 于 0. 该 方程 组 为 线性 、 齐 次 、 常 系数 微分 方 
程 组 ,系数 和 矩阵 为 


一 局 0 0 
4 一 | k 一心 
0 太 而 
矩阵 4 的 特征 值 均 不 大 于 0, 因此 它 是 稳定 的 问题 . 国 


本 章 前 面 几 节 介绍 的 方法 都 可 用 于 常 微分 方程 组 的 求解 ,只 要 把 y 和 了 都 理解 为 向 
量 , 则 各 种 计算 公式 都 可 以 应 用 . 例如 , 欧 拉 法 的 计算 公式 为 
yn = yn hf (i, y). 
4 阶 经 典 R-K 公式 为 
yo = yy, + 全 (ha 二 2k + 2ks 十 天) 


Kk = f(t,,y,) 


ks = (n+ - i Sh ) 


二 了 (4 十 广 , 光 y Sk ) 
kK = fC 二 hyy, FRE) 
例 8. 13( 求 解 常 微分 方程 组 ) : 试用 欧 拉 法 求解 常 微分 方程 组 
y1= yz 
a 2y1 — 3y2 
的 初 值 问题 . 初 值 为 y(0)= 二 1,yz(0) 二 2, 取 步 长 4 二 0.1, 计 算 两 步 . 
【 解 】 用 欧 拉 法 计算 一 步 的 公式 为 
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Ya = hh 


0 1 
所 以 


在 本 题 中 ,一 | |], 一 [ _， 


0 1 1 21 fl1.2 

+4| sh [上 [eal 

元 二 示 + 可 0 |» [+ 二 |- | 
-2 —3 1.2 三 二 0.6 


即 计 算出 :一 0. 2 时 的 数值 解 为 广 !(0.2) 王 1.32, 广 :(0. 2) 一 0. 6. 

容易 验证 此 问题 的 准确 解 为 wm (iD 三 4e 一 一 3e 2 (1) 二 一 4e-' 十 6e-*. 因此 t==0.2 时 
的 准确 解 为 y.(0.2) 二 1. 264, ys(0.2) 二 0.747, 与 数值 解 相差 不 大 . 国 

在 常 微分 方程 组 的 求解 过 程 中 ,也 要 注意 数值 解法 的 稳定 性 . 以 方程 组 (8.70) 为 例 , 考 
虑 欧 拉 法 的 稳定 性 ,计算 公式 为 

yr = yhAy, = (ThA)y,, 
假设 y 存在 扰动 ,, 则 由 它 引 起 w+ 的 误差 为 
1 二 (I 十 hA) ，， 

要 使 ,41 的 大 小 不 超过 , ,或 者 随 着 n 的 增 大 误差 不 会 发 散 为 无 穷 大 , 则 要 求 矩 阵 I 十 h4 的 
特征 值 均 不 超过 1, 即 谱 半 径 


o( 十 /4A) 近 1. (8.73) 
也 就 是 说 ,对 和 矩阵 4 的 任 一 个 特征 值 M; ,都 应 满足 
| ee Et (8.74) 


这 给 出 了 用 欧 拉 法 求解 常 微分 方程 组 (8.70) 保 证 稳定 的 充 要 
条 件 . 一 般 特征 值 4; 为 复数 ， 则 h2; 在 复 平面 的 稳定 区 域 如 
图 8-7 所 示 ,注意 它 与 描述 欧 拉 法 求解 模型 问题 稳定 区 域 的 
图 8-2 几乎 是 一 样 的 . 更 进一步 , 若 特 征 值 4; 为 实数 , 则 得 到 


稳定 性 对 步 长 的 限制 条 件 
图 8-7 欧 拉 法 解 常 微分 方 _» 
程 组 的 稳定 区 域 he 


根据 这 个 要 求 看 例 8. 13 ,由 于 两 个 特征 值 分 别 为 一 1 和 一 2, 欧 拉 法 的 步 长 应 满足 h 二 


1, 采 用 /=0.1 是 满足 稳定 性 要 求 的 . 

对 更 一 般 的 常 微分 方程 组 ,上 述 分 析 仍 然 有 效 , 只 需 将 X; 看 成 是 雅 可 比 和 矩阵 J 的 特征 
值 ,然后 根据 具体 方法 求解 单个 常 微分 方程 模型 问题 时 的 稳定 性 要 求 ,可 确定 步 长 的 稳定 
区 间 . 


8.5.2 MATLAB 中 的 实用 ODE 求解 器 


MATLAB 软件 包含 了 多 个 实用 的 常 微分 方程 初 值 问 题 求 解 器 ,例如 我 们 前 面 提 到 的 
ode23 命令 ( 见 8.3.4 节 ). 表 8-9 列 出 了 这 些 命令 ,并 简要 说 明了 它们 的 特点 . 实际 上 ,这些 求 
解 器 分 为 两 类 : 前 三 个 为 显 格式 方法 ,为 了 保证 计算 的 稳定 性 对 某 些 问题 效率 很 低 ( 这 类 问题 称 
为 “刚性 问题 ”) ;后 四 个 为 隐 格 式 方法 ,稳定 性 对 步 长 的 限制 较 小 ,因此 适合 于 求解 “刚性 问题 ” 

802 2 


二 2 
二 2 
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表 8-9 MATLAB 中 求解 常 微分 方程 初 值 问题 的 命令 


函数 名 内 部 算法 说 明 

对 于 精度 要 求 不 高 的 情况 ,效率 好 
于 ode45 

一 般 情 况 下 ,首先 尝试 使 用 它 来 
求解 

适合 于 精度 要 求 高 或 计算 f 函数 代 
价 高 的 情况 

适合 于 刚性 问题 

在 精度 要 求 不 高 的 情况 ,效率 可 能 
好 于 odel5s 

精度 要 求 不 高 的 适度 刚性 问题 


适用 情况 类 似 于 ode23s 


ode23 | 显 格式 , 单 步 法 ,采用 BS23 算法 的 自动 变 步 长 R-K 方法 


显 格式 , 单 步 法 ,包含 一 个 4 阶 和 5 阶 公 式 的 自动 变 步 长 
R-K 方法 

显 格式 ,多 步 法 ,采用 变 阶 数 的 Adams-Bashforth- 
Moulton 预测 校正 公式 

odel5s | 隐 格 式 ,多 步 法 ,采用 变 阶 数 的 NDF 或 BDF 公式 


ode45 


odel13 


ode23s | 隐 格 式 , 单 步 法 ,采用 改进 的 2 阶 Rosenbrock 公式 


ode23t | 隐 格 式 , 单 步 法 ,采用 基于 “和 白 由 ?插值 基 函 数 实现 的 梯形 法 
ode23tb | 隐 格 式 , 单 步 法 ,采用 两 级 隐 式 R-K 方法 


下 面 简要 说 明 什 么 样 的 常 微分 方程 初 值 问题 是 “刚性 问题 ”。 
定义 8.5: 若 一 个 常 微分 方程 初 值 问 题 的 准确 解 函数 随时 间 变 化 缓慢 ,但 经 过 其 附近 点 
( 且 满 足 原 微分 方程 ) 的 解 是 随时 间 变 化 很 快 的 函数 , 则 这 类 问题 称 为 刚性 问题 Cstiff 
problem). 
刚性 问题 可 能 是 单个 常 微分 方程 ,也 可 能 是 常 微分 方程 组 . 在 求解 刚性 问题 时 ,由 于 
准确 解 附近 的 解 变化 很 快 ,所 以 实际 计算 中 必须 采用 很 小 的 步 长 ,才能 防止 数值 解 过 大 
地 偏离 准确 解 . 实际 上 ,刚性 问题 反映 的 是 求解 过 程 的 计算 效率 问题 , 它 可 以 通过 数值 解 
法 的 稳定 性 分 析 来 解释 , 即 由 于 稳定 性 要 求 使 得 步 长 必须 很 小 . 一 般 采 用 显 式 方法 求解 
刚性 问题 计算 效率 很 低 , 而 采用 无 条 件 稳定 或 稳定 区 间 很 大 的 隐 式 方法 时 ,可 取 较 大 的 
步 长 . 
例 8.14 (刚性 问题 ): 考虑 常 微分 方程 初 值 问 题 
y 二 一 100y 十 100t 十 101，t 宇 0 
ba = 1.01 ” 
假设 步 长 一 0. 1, 使 用 欧 拉 法 进行 求解 的 结果 列 于 表 8-10 中 . 


表 8-10 例 8.14 的 计算 结果 


0. 


2 


准确 解 . 200 000 1. 300 000 | 1. 400 000 
欧 拉 法 0 一 5.99 | 67.0 
向 后 欧 拉 法 . 200 083 1. 300 008 1. 400 001 


该 微分 方程 的 通 解 为 


y(t) =1++t+te. el™, 
将 初 值 代入 得 到 原 问 题 的 准确 解 为 
VOSS L140.0le 
在 表 8-10 中 也 列 出 了 准确 解 . 通过 对 比 看 出 , 欧 拉 法 的 解严 重 偏离 准确 解 . 事实 上 ， 
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1+1+0.01 exp(-100D) 准确 解 的 曲线 如 图 8-8 所 示 , 是 变化 非常 缓慢 的 ， 
1.50 但 由 于 通 解 中 包含 项 e ,附近 的 解 变化 很 快 ,所 
证 以 一 旦 数值 解 稍稍 偏离 准确 解 , 采 用 局 部 斜率 的 显 
2 式 方法 就 会 使 误差 迅速 放大 . 本 例题 就 是 一 个 典型 
1 的 刚性 问题 . 
让 作为 对 比 ,我 们 也 采用 向 后 欧 拉 法 进行 求解 , 步 长 
1.05 也 取 有 ==0. 1, 结 果 列 于 表 8-10 的 最 后 一 行 . 从 中 看 
本 0 0 03 04 05 出 ,向 后 欧 拉 法 的 结果 准确 得 多 . 


， 从 算法 稳定 的 角度 看 ,本 问题 的 雅 可 比 矩 阵 万 三 
图 8-8 刚性 问题 ( 例 8. 14) 的 准确 解 一 100 ,其 特征 值 也 就 是 一 100 ,因此 为 保证 稳定 欧 拉 法 


的 步 长 应 满足 过 一 35 一 0.02. 上 面 计算 中 没有 满足 此 条 件 , 才 出 现 不 稳定 的 情况 .对 于 


这 种 刚性 问题 ,用 欧 拉 法 等 显 格式 方法 求解 ,必须 采用 很 小 的 步 长 才能 保证 准确 ,因此 效率 
很 低 . 而 向 后 欧 拉 法 等 隐 格 式 方法 稳定 区 间 大 ,因此 很 适合 求解 刚性 问题 . 出 

从 上 述 例子 看 出 ,刚性 问题 实际 上 就 是 不 适合 使 用 显 式 方法 求解 ,或 显 式 方法 效率 很 低 
的 问题 . 了 解 到 这 一 点 ,可 指导 我 们 选择 使 用 合适 的 ODE 求解 器 . 下面 通过 几 个 例子 说 明 
MATLAB 中 有 关 命令 的 使 用 . 

例 8.15 (火焰 燃烧 问题 ) : BS23 算法 的 作者 L. Shampine 提出 过 一 个 描述 火焰 燃烧 的 
微分 方程 ,刻画 点 燃 一 根 火柴 时 火焰 半径 迅速 增 大 的 动态 过 程 . 假设 >(2) 为 火焰 半径 ,半径 
增 大 的 速度 应 该 与 净 供 应 的 氧气 量 成 正比 ,后 者 等 于 表面 供应 的 氧气 减 去 内 部 消耗 的 氧气 ， 
分 别 与 yx 和 > 成 正比 . 根据 上 述 分 析 , 采 用 适当 的 单位 ,可 得 到 如 下 的 常 微分 方程 : 

y=y yt0 
y(0) 一 了 2 
其 中 ,7 为 初始 的 火焰 半径 , 取 w==0.0001, 求 (Do 的 变化 曲线 . 

MATLAB 中 任何 一 种 ODE 求解 器 都 有 三 个 必需 的 输入 参数 , 即 f 函数 ,求解 时 间 范 

围 和 y 函数 的 初始 值 , 定义 函数 有 多 种 方法 ,对 本 例 可 采用 简单 的 匿名 函数 


>>E= (ty) YY^2=Y “37 


它 说 明了 f 是 关于 t 和 y 的 二 元 函数 . 假设 求解 时 间 范 围 为 L0,15 000], 则 使 用 ode45 
求解 器 的 命令 为 


>>ode45(f, [0,15000],0.0001); 


在 不 加 返回 值 的 情况 下 ,ODE 求解 器 自动 画 出 y(7) 的 变化 曲线 ,并 标记 出 计算 过 程 中 
的 节点 . 上 述 命令 生成 的 y() 函数 曲线 如 图 8-9 所 示 . 从 图 中 看 出 ,在 上 一 10 000 时 ,火焰 
半径 迅速 增 大 并 达到 一 个 稳定 的 值 , 这 与 现实 情况 相符 ,这 种 稳定 状态 表明 火焰 内 部 燃烧 耗 
费 的 氧气 和 其 表面 现存 的 氧气 达到 了 一 种 平衡 . 

从 图 8-9 还 可 以 看 出 ,这 是 一 个 刚性 问题 ,在 y(?) 达 到 稳定 值 1 后 ,仍然 需要 很 小 的 步 
长 ,导致 计算 效率 很 低 . 采用 刚性 求解 器 ode23s 重新 计算 此 例 , 得 到 的 结果 如 图 8-10 所 
示 . 从 中 可 以 看 出 ,刚性 求解 器 所 需 的 计算 步 数 少 得 多 ,而 且 通 过 统计 计算 时 间 发 现 ， 
ode23s 求解 该 问题 的 时 间 大 约 是 ode45 的 1/6. 国 
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于 


i ii 


0 5000 10000 15 000 0 ~ 5000 ~ 10000 15 000 
图 8-9 用 ode45 求解 例 8.15 图 8-10 用 ode23s 求解 例 8. 15 


例 8.16( 常 微分 方程 组 ): 用 MATLAB 中 的 ode23 命令 求解 例 8. 11 中 的 常 微分 方程 
组 ,假设 F(t,y,y (1))/m 二 61, 初 始 值 为 y1(0)==0,y2(0)==1. 
【 解 】 竺 求解 的 常 微分 方程 组 为 
y1= yz 
yy 一 61 
为 了 定义 向 量 函 数 f(z,y) ,使 用 MATLAB 中 的 . m 文件 . 
function ydot=ffun (t,y); 
ydot= [y (2); 6*t]; s 列 向 量 


然后 假设 时 间 范 围 为 L0,1] ,求解 的 命令 如 下 : 


>>ode23(@ ffun, [0,1],[0;1]); 


注意 函数 名 前 的 @ 符 号 ,而 最 后 一 个 参数 是 初始 值 ， 
这 里 是 一 个 列 向 量 . 得 到 解 曲线 如 图 8-11 所 示 . 本 
题 有 解析 解 ,为 y(t)==# 十 +t, yz (zt) 二 38 十 1, 它 与 数 
值 解 是 吻合 的 . 国 

从 这 个 例子 可 以 看 出 ,用 MATLAB 求解 常 微分 
方程 组 和 求解 单个 常 微分 方程 没有 多 大 区 别 ,只 需 0 02 04 06 08 1.0 


将 使 用 到 的 一 些 量 设 为 向 量 即 可 . 图 8-11 用 ode23s 求解 例 8. 16 得 到 的 
除了 上 述 介 绍 的 功能 , MATLAB 的 ODE 求解 两 条 解 函 数 曲 线 


器 还 可 以 自 定义 计算 的 节点 和 步 长 ,并 且 在 输入 参 
数 中 增加 options 参数 ,可 灵活 地 设置 误差 控制 .输出 、 事 件 、 定 义 雅 可 比 和 矩阵 、 隐 式 常 微分 
方程 等 功能 . 这 些 功 能 通过 单独 的 odeset 命令 来 实现 . 而 采用 标准 的 命令 格式 


[T,Y]=solver (odefun,tspan,y0,options) 


还 可 以 返回 离散 的 时 间 点 和 对 应 的 未 知 函数 值 Y. 关于 这 些 功 能 的 详细 介绍 ,请 感 兴趣 
的 读者 查询 MATLAB 的 联机 帮助 文档 . 
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应 用 实例 : 洛 伦 兹 吸引 于 


1. 问题 背景 

世界 上 对 常 微分 方程 研究 最 广泛 的 领域 之 一 是 洛 伦 疹 吸引 子 (Lorenz attractor), 它 最 
先 由 美国 MIT 大 学 的 数学 家 和 气象 学 家 Edward Lorenz 在 1963 年 提出 . Lorenz 提出 的 方 
程 是 大 气流 体 动力 学 的 一 个 简化 模型 , 它 模拟 大 气 的 对 流 , 可 用 于 长 期 天 气 预报 . Lorenz 方 
程 是 一 个 常 微分 方程 组 ,可 写成 


y 一 47， 
其 中 ,y 王 Li (i ,yz(t) ,ys(i)] IT, 而 
一 8 0 » 
A= 0 = 和 
yy 0 1 


解 的 第 一 个 分 量 y(t) 和 大 气 的 对 流 相 关 , 而 另外 两 个 分 量 分 别 与 温度 的 水 平和 竖 直 变化 相 
关 . 参数 6 称 为 普兰 特 数 ,o 是 规范 化 的 瑞 利 数 ,B 和 模拟 区 域 的 几何 形状 相关 . 

由 于 给 阵 A 中 有 两 个 元 素 是 y。 和 一 ys,， 看 起 来 简单 的 Lorenz 方程 是 一 个 非 线性 常 微 
分 方程 ,没有 解析 解 . Lorenz 用 数值 方法 对 其 进行 求解 ,揭示 了 解 函数 y(1) 的 奇特 性 质 , 它 
是 最 早 发 现 的 混沌 现象 之 一 . 

2. 吸引 子 的 位 置 

Lorenz 方程 组 中 没有 随机 的 因素 ,因此 解 y(1) 完 全 由 上 面 的 参数 和 初始 条 件 确 定 . 
数值 仿真 的 结果 表明 , 当 这 些 参 数 取 某 些 值 时 ,三 维 空间 中 y(1) 的 轨迹 混乱 地 在 两 个 点 
(吸引 子 ) 之 间 往 返 , 有 界 但 无 周期 ,不 收敛 也 不 自 交 ( 见 图 8-12 和 图 8-13). 这 是 一 种 
“混沌 ?现象 而 对 于 参数 的 另外 一 些 值 , 解 可 能 会 收敛 于 一 个 固定 点 ,发 散 到 无 穷 远 或 周 
期 性 振荡 . 


1 1 1 1 一 2 1 1 1 1 1 1 1 1 
0 5 10 135 20 25 30 -25-20 -15-10-5 0 5 10 15 20 25 
1 力 
图 8-12 解 函数 随时 间 变 化 图 图 8-13 相位 投影 图 


图 8-13 显示 的 是 随时 间 t 的 变化 ,y, 和 ys 构成 的 相位 投影 图 ,其 中 ,明显 地 看 到 有 两 


”306 < 


第 8 章 常 微 分 方程 初 值 问题 的 解法 


个 奇异 吸引 子 ,它们 其 实 是 常 微分 方程 的 两 个 固定 点 (或 不 动 点 ). 为 了 求 这 两 个 吸引 子 的 
位 置 , 需 考虑 初始 值 y(to) 为 何 值 时 Ay(to) 二 0. 
根据 甜 阵 A, 可 以 证 明 它 为 奇异 阵 的 充 要 条 件 是 


2 = 土 VB8Co 一 1). 
一 步 求 矩阵 A 的 化 零 向 量 ,并 使 其 第 二 个 分 量 等 于  , 则 得 到 这 样 的 化 零 向 量 为 
p—1 
xz 一 | > |， 
y2 


容易 验证 hz 一 0. 因此 , 若 y(w) 二 [po 一 1, VB(p 一 了], VBC(o 一 "或 [op 一 1, 一 VBCp 一 1)， 
一 VB(o 一 1)]", 对 所 有 的 1 都 有 y 二 0, 因此 y() 保 持 不 变 . 这 两 个 初始 值 就 是 两 个 吸引 子 . 事 
实 上 ,这 两 个 不 动 点 是 不 稳定 的 ,只 要 轨迹 不 从 它们 开始 ,就 永远 不 会 达到 其 中 任何 一 个 ,轨迹 
在 它们 附近 将 受到 排斥 . 

Lorenz 方程 中 典型 的 参数 取 值 是 op 二 28,B 王 8/3, 则 算出 吸引 子 的 位 置 为 [27,8.49,8.49]" 
和 [27, 一 8. 49, 一 8. 49]T. 

3. MATLAB 实验 

利用 本 章 所 学 知识 可 以 编写 程序 来 数值 求解 Lorenz 方程 ,从 而 观察 Lorenz 吸引 子 解 
曲线 和 相位 轨迹 . 下 面 使 用 MATLAB 自 带 的 ODE 求解 器 进行 求解 ,假设 初始 值 y(to) 稍 
稍 偏 离 吸引 子 [27,8. 49,8. 49]7. 具体 的 程序 如 下 : 


function ydot=Lorenzydot (t,y,sig,b,r) 
vaoE = ly (2 Xv (3 DY (LSE (v3) VE yy (2 (SD (2 ve 
end 
>>sig=10;b=8/3;r=28; 
>> Ye lr sart(b (rc LN egre(b (rl 
>>y0=yc+ [0;0;3]; 
>>tspan= [0,50]; 
>>opts=odeset ('outputfcn',@odephas2,'OutputSel', [1,2]); 
>>ode23 (@ Lorenzydot,tspan,y0,opts, sig,b,r); sy -yz 相位 图 
>>figure (2) 
>>opts=odeset ('outputfcn',@odephas2,'OutputSel', [1,3]); 
>>ode23 (@ Lorenzydot,tspan,y0,opts,sig,b,r); Syi1—y3 相位 图 
>>figure (3) 
>>opts=odeset ('outputfcn',@odephas2, 'OutputSel', [2,3]); 
>>ode23 (@ Lorenzydot,tspan,y0,opts, sig,b,r); syz 一 ys 相位 图 


这 个 程序 通过 odeset 设置 ODE 求解 器 的 选项 ,方便 地 实现 二 维 的 相位 图 输出 ,得 到 的 
前 两 个 相位 图 如 图 8-14 和 图 8-15 所 示 , 最 后 一 个 与 图 8-15 类 似 . 
文献 [7] 提 供 了 一 个 功能 更 强大 的 Lorenz 吸 引子 演示 程序 , 感 兴趣 的 读者 可 以 参考 . 
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图 8-14 -ys 相位 投影 图 图 8-15 -ys 相位 投影 图 


1768 年 , 欧 拉 研究 了 和 常 微分 方程 初 值 问题 ,提出 了 现在 大 家 熟知 的 欧 拉 法 .对 欧 拉 法 
的 更 详细 分 析 和 应 用 是 由 柯 西 于 1840 年 完成 的 . 在 后 续 工 作 中 ,亚当 姆 斯 (Adams) 做 出 了 
较 大 贡献 . 他 于 1846 年 和 Le Verrier 一 起 根据 天 王 星 轨道 的 摄 动 预测 计算 出 了 海王 星 的 
轨道 ,1883 年 他 提出 了 Adams-Bashforth 和 Adams-Moulton 两 种 多 步 法 . 龙 格 、Heun 和 库 
塔 在 1895 至 1901 年 期 间 提出 了 多 种 方法 ,形成 了 龙 格 - 库 塔 方法 . Fehlberg 于 1970 年 发 表 
了 一 种 自动 变 步 长 R-K 方法 , 它 类 似 于 ode45 的 算法 使 用 4 阶 和 5 阶 的 R-K 公式 ,而 ode45 
所 采用 的 Dormand、Prince 公式 对 在 1980 年 才 被 提出 . 1952 年 ,Curtis 和 Hirschfelder 提 
出 了 多 步 法 中 的 隐 式 BDF 方法 ,这 种 方法 由 于 Gear 在 1971 年 出 版 的 书 得 到 普及 和 推广 : 

°C. W. Gear, Numerical Initial Value Problems in Ordinary Dif ferential Equations. 

Prentice Hall, Englewood Cliffs, NJ. 1971. 

目前 BDF 方法 已 成 为 求解 刚性 常 微分 方程 有 效 的 方法 . 关于 常 微分 方程 数值 解法 的 
稳定 性 分 析 , 是 由 Dahlquist 于 20 世纪 50 年 代 研 究 提 出 的 . 

除了 本 章 介 绍 的 方法 ,还 有 多 值 法 和 基于 外 推 的 方法 等 ,它们 都 是 20 世纪 60 年 代 以 后 
被 提出 的 . 除了 初 值 问题 ,实际 应 用 中 需求 解 常 微分 方程 的 还 有 边 值 问题 (boundary value 
problem) 、 延 迟 微分 方程 (delay differential equation) 等 .下面 的 书 结合 MATLAB 介绍 了 
这 些 方面 的 实用 技术 : 

。 LL. F. Shampine, I. Gladwell, S. Thompson, Solving ODEs with MATLAB, 

Cambridge University Press,2003. 

该 书 的 作者 Shampine 也 是 MATLAB 中 ODE 求解 器 软件 的 开发 者 1. MATLAB 
中 ,符号 运算 工具 箱 提供 了 求解 常 微分 方程 的 命令 dsolve, 它 可 求 出 简单 常 微分 方程 的 通 解 
和 初 值 问题 的 特 解 ,也 可 求 线性 常 微 分 方程 组 的 通 解 和 特 解 . 当然 对 于 复杂 的 方程 ,dsolve 
命令 往往 无 能 为 力 , 只 能 求 数值 解 了 . 

微分 代数 方程 组 (differential algebraic equations,DAE) 是 与 常 微 分 方程 存在 联系 的 一 
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类 问题 ,关于 它 的 求解 方法 ,可 参考 : 
。 U.M. Ascher, L. R. Petzold, Computer Methods for Ordinary Differential 
Egquations and Dif ferential-Algebraic Equations ,SIAM Press,1998. 
而 高 度 振荡 的 常 微 分 方程 需要 一 些 特殊 的 求解 技术 ,可 参考 : 
。 LL. R. Petzold, L. O. Jay, Jj. Yen, Numerical solution of highly oscillatory 
ordinary differential equations, Acta Numerica, Vol. 6,pp. 437-484,1997. 
【本 章 知识 点 】 显 式 常 微分 方程 ;高 阶 常 微分 方程 转化 为 1 阶 常 微分 方程 组 ; 常 微分 方 
程 的 初 值 问题 ;线性 常 微分 方程 ; 初 值 问题 的 稳定 性 (稳定 、 不 稳定 ,渐进 稳定 ); 局 部 稳定 性 
分 析 ; 单 步 法 /多 步 法 ; 显 格式 方法 / 隐 格 式 方法 ; 单 步 法 的 稳定 性 ;稳定 区 域 /稳定 区 间 ; 局 部 
截断 误差 ;准确 度 阶 数 .收敛 性 ; 欧 拉 法 ;向 后 欧 拉 法 ;梯形 法 ; 龙 格 - 库 塔 方法 ; 显 式 R-K 公 
式 的 推导 ;级 R-K 公式 的 准确 度 、 稳 定性 ;自动 变 步 长 的 R-K 方法 ;多 步 法 公式 的 推导 ; 
Adams 公式 ;预测 -校正 格式 ;1 阶 常 微分 方程 组 ;线性 常 微分 方程 组 初 值 问题 的 稳定 性 分 
析 ; 常 微分 方程 组 的 解法 及 其 稳定 性 ;MATLAB 中 的 ODE 求解 器 ;刚性 问题 . 


算法 背后 的 历史 :“ 数 学 家 之 英雄 ” 欧 拉 


欧 拉 (Leonhard Euler,1707 年 4 月 15 日 一 1783 年 9 月 18 日 ), 瑞 士 数学 家 及 自然 科学 
家 ,出 生 于 瑞士 的 巴塞 尔 , 辛 于 俄国 圣彼得堡 欧 拉 被 一 些 数学 史学 
者 称 为 历史 上 最 伟大 的 两 位 数学 家 之 一 ( 另 一 位 是 卡尔 。 弗 里 德里 希 
。 高 斯 ) ,他 不 但 为 数学 界 做 出 贡献 ,更 把 数学 推广 到 几乎 整个 物理 
领域 . 他 是 历史 上 最 多 产 的 数学 家 ,平均 每 年 写 出 八 百 多 页 的 论文 ， 
还 写 了 大 量 有 关 力 学 、 分 析 学 、 几 何 学 、 变 分 法 的 课本 . 在 许多 数学 
的 分 支 中 经 常 能 见 到 以 他 的 名 字 命 名 的 重要 常数 ,公式 和 定理 . 

欧 拉 生 于 牧师 家 庭 ,15 岁 在 巴塞 尔 大 学 获 学 士 学 位 ,翌年 得 硕 
士 学 位 . 1727 年 , 欧 拉 应 圣彼得堡 科学 院 的 邀请 到 俄国 ,1731 年 接 

图 8-16 欧 拉 替 丹 尼 尔 第 一 。 伯 努 利 成 为 物理 教授 . 在 俄国 的 14 年 ,他 以 旺盛 的 

精力 投入 到 研究 中 ,在 分 析 学 数论 和 力学 等 方面 做 了 大 量 出 色 的 

工作 . 1741 年 受 普鲁士 腓 特 烈 大 帝 的 洲 请 到 柏林 科学 院 工作 , 达 25 年 之 久 . 在 柏林 期 间 他 
的 研究 内 容 更 加 广泛 ,涉及 行星 运动 .刚体 运动 .热力 学、 弹道 学 、 人 口 学 . 1766 年 他 又 回 到 
了 圣彼得堡 . 

欧 拉 的 主要 贡献 

。 在 微 积分 方面 ,对 函数 概念 进行 了 系统 探讨 ,是 复 变 函数 论 的 先驱 者 . 

。 在 微分 方程 方面 ,提出 了 求解 初 值 问题 的 欧 拉 方 法 ,开拓 性 地 研究 了 偏 微分 方程 . 

。 在 数论 方面 ,首先 发 现 二 次 互 反 律 ,提出 欧 拉 函 数 (RSA 公 钥 密码 算法 的 基础 ). 

。 在 几何 方面 ,引入 曲线 的 参数 表示 ,商定 了 曲面 理论 . 

。 为 图 论 英 定 了 基础 . 

。 是 理论 流体 动力 学 的 创始 人 . 


“ SOQ sm 


数值 分 析 与 算法 (第 2 版 ) 


数学 家 之 英雄 一 一 欧 拉 
欧 拉 具有 坚忍 的 毅力 . 比如 计算 起 星 轨道 ,这 是 需要 用 好 几 个 月 的 时 间 的 计算 才能 完 
成 的 问题 ,但 欧 拉 用 自己 创立 的 方法 ,奋战 三 日 就 完成 了 . 由 于 在 天 文 研究 中 ,长 期 观测 太 
阳 和 过 度 工作 ,使 他 患 了 眼疾 , 右 眼 不 幸 失 明 , 但 他 不 顾 眼 疾 , 谢 然 回 到 寒冷 的 圣彼得堡 工 
作 . 其 后 左 眼 视力 很 快 衰退 ,他 深 知 自己 的 双 目 将 完全 失明 ,但 并 没有 消沉 ,而 是 抓紧 还 能 
滕 及 看 见 东 西 的 最 后 时 光 , 在 黑板 上 疾 书 他 发 现 的 公式 ,口述 其 内 容 , 让 人 笔录 . 后 来 欧 拉 双 
目 都 失明 了 ,不幸 的 事 又 接 中 而 来 : 1771 年 彼得 堡 失火 瑞 及 欧 拉 的 住宅 ,书籍 和 大 量 手稿 
焚毁 ;1776 年 爱 妻 柯 代 玲 娜 病故 ,在 这 些 不 幸 面 前 , 欧 拉 仍 没有 退缩 ,而 是 以 坚忍 的 攻 力 奋 
斗 着 、 拼 振 着 . 他 凭借 惊人 的 记忆 力 和 罕见 的 心算 能 力 , 艰 苦 卓 绝地 从 事 研 究 ,继续 让 人 笔 
录 他 的 发 现 , 直 到 他 生命 的 最 后 一 刻 . 在 双 目 失明 的 17 年 中 ,他 竟 口 述 了 400 篇 左右 的 论 
文 和 好 几 本 专著 ,并 透彻 地 研究 了 曾 使 牛顿 头痛 的 关于 月 球 运 行 的 理论 . 因此 ,纽曼 称 欧 拉 
是 “数学 家 之 英雄 ”. 
欧 拉 名 言 
。 如 果 命 运 是 块 颈 石 , 我 就 化 为 大 锤 , 将 它 砸 得 粉碎 ! 
。 虽然 不 允许 我 们 看 透 自 然 界 本 质 的 秘密 ,从 而 认识 现象 的 真实 原因 ,但 仍 可 能 发 生 
这 样 的 情形 : 一 定 的 虚构 假设 足以 解释 许多 现象 . 
。 一 个 科学 家 如 果 做 出 了 给 科学 宝库 增加 财富 的 发 现 ,而 不 能 坦率 阐述 那些 引导 他 做 
出 发 现 的 思想 ,那么 他 就 没有 给 科学 做 出 足够 的 工作 . 


练 习 题 


1. 写 出 与 下 列 常 微分 方程 等 价 的 1 阶 常 微分 方程 组 . 
(1) Van der Pol 方程 : 


(2) Blasius 方程 : 


和” = 
(3) 两 体 运动 的 牛顿 第 二 运动 定律 ; 
] GMyi 
| ns 
(WT 2) 
GMy; 


(并 十 并 )、 


2. 将 下 述 积 分 的 计算 看 成 常 微分 方程 初 值 问 题 : 


i | 
| dz. 
0 


利用 欧 拉 方 法 计算 z==0.5,1,1.5,2 时 该 积分 的 近似 值 . 
3. 用 梯形 法 解 初 值 问题 
y++y=0 
Ls 一 1 ” 
证 明 其 近似 解 为 
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( 3 ) 

并 证 明 当 />0 时 , 它 收敛 于 原初 值 问题 的 准确 解 > 一 e . 

4. 在 向 后 欧 拉 法 的 计算 中 ,一 般 需 求解 关于 w+i 的 非 线性 方程 (8. 19) , 若 使 用 牛顿 法 
求解 , 试 推导 相应 的 递 推 计算 公式 . 

5. 对 模型 问题 (8. 7) ,分 析 梯 形 法 的 稳定 性 ,推导 其 稳定 区 域 . 

6. 对 模型 问题 (8. 7) ,分 别 推导 向 后 欧 拉 法 、 梯 形 法 的 局 部 截断 误差 ,判断 其 准确 度 
阶 数 . 

7. 证 明 对 任意 参数 a, 下 列 龙 格 - 库 塔 公 式 是 2 阶 的 : 

yr = ys + 人 (Kk, 生息 


Ki = f(t 59:) 
K; = f(t 二 oh ,yahKi) 
K; = f(t (1—oh,y,t (1—ohKi) 
8. 根据 模型 问题 (8.7) ,验证 4 阶 经 典 龙 格 - 库 塔 公式 (8.38) 具 有 4 阶 准确 度 , 并 推导 
其 保持 稳定 时 满足 的 不 等 式 (8. 41). 
9. 并 级 龙 格 - 库 塔 法 的 另 一 种 表达 式 为 


.yn+l 一 .yn + hck; 
ia 


ki = ft, syn) 
| 

ki = f(t tah yth ok), (i=2,.,7) 
j=1 


试 证 明 要 有 至 少 2 阶 准确 度 , 则 必定 有 
AM2 = p21. 
即 它 与 公式 (8.24) 是 等 价 的 . 
10. 判断 下 述 单 步 法 公式 是 否 满足 相 容 性 . 


/ 
yut1 = yy, 二 hk ynt1—=yn + 3k ks) 
01) ki =f(t,, y,) (2) dh = fC,y,) 
一 a 人 
如 一/ (+ 人 ,yr 本) 如 一 (i 十 务 ,yo 十 各) 


yot1 一 十 后 ( 十 6ha 十 2hs) 


k=f(t,, Yn) 


大 h 


=f (th 如 十 如 ) 


=/f (n+ 站 5 站 心 ) 


11. 对 于 初 值 问题 


> 一 一 100(y 一 嫌 ) 十 2 
y(0)=1 
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(1) 用 欧 拉 法 求解 , 步 长 h 取 什 么 范围 的 值 ,才能 使 计算 稳定 ? 

(2) 车 用 4 阶 龙 格 - 库 塔 法 计算 , 步 长 h 如 何 选取 ? 

(3) 若 用 梯形 公式 计算 ,对 步 长 六 有 无 限制 ? 

12. 使 用 中 点 求 积 公 式 ,可 得 到 求解 常 微 分 方程 初 值 问题 的 隐 式 中 点 方法 


Yntl = Yn +hf (a 十 二 ,也 二 2 ) 


确定 这 个 方法 的 准确 度 阶 和 稳定 区 间 . 
13. 分 析 两 步 跳 跃 法 
yl = yi 2hf ts yn) 
的 准确 度 阶 数 和 稳定 区 间 . 
14. 使 用 拉 格 朗 日 多 项 式 插值 推导 BDF 公式 (8.65) ,并 证 明 它 具有 3 阶 准确 度 . 
15. 证 明 存 在 一 个 a 值 ,使 线性 多 步 法 


yon aly — yn) — yrs 一 村 (3 十 ORG 十) 


是 4 阶 的 ,其 中 ,ff 二 fC65y,) ,foi 三 f(b-1). 


上 机 题 


1. 编程 实现 算法 8. 1. 用 它 求解 例 8.3、 例 8.4 和 例 8.5, 绘 出 数值 解 的 曲线 ,并 与 准确 
解 进行 比较 . 

2. 用 欧 拉 公式 解 常 微分 方程 初 值 问题 : 

y = 一 y 十 t 十 l，0 过 1 过 1 
Cn 二 

求 y(1) 的 近似 值 , 积分 步 长 分 别 取 及 =0.1,0.01,0.001. 此 问题 的 准确 解 为 y(7)==t 十 e™. 

3. 设 有 常 微分 方程 初 值 问题 

y 一 一 > 十 2cost 
一 1 

其 精确 解 为 (1 一 cost 十 sint。 选取 步 长 hh 使 得 4 阶 经 典 R-K 公式 和 4 阶 Adams-Bashforth 公 
式 均 稳定 ,分 别 用 这 两 种 方法 在 区 间 [0,x]j 上 求解 微分 方程 ,将 数值 解 与 精确 解 比较 ,输出 结 
果 . 同时 比较 两 种 数值 方法 的 计算 效率 和 准确 度 . 多 步 法 的 初 值 由 4 阶 经 典 R-K 公式 提供 . 

4. 分 别 用 4 阶 经 典 R-K 公式 及 Hamming 公式 与 同 阶 Milne 公式 建立 的 预测 -校正 系 
统 ( 可 用 4 阶 经 典 R-K 公式 提供 必要 的 开始 值 ) 计 算 如 下 初 值 问题 ; 

y = 一 20y 十 20sint 十 cost t € [0,1] 
y(0) 一 1 

求 y(1) 的 近似 值 . 计算 时 ,用 以 下 两 种 方法 选取 积分 步 长 h. 

方法 1: +t€[0,1],h 二 0.075. 

方法 2: t+€[0,0.2],h=0.01; t€ [0.2,1],h=0. 075. 

本 题目 会 遇 到 两 个 问题 : (1) 按 给 定 步 长 积分 时 ,积分 终点 与 区 间 端 点 不 重合 ; (2) 多 
步 法 改变 步 长. 试 提出 相应 解决 办 法 并 实现 之 (本 题 的 准确 解 为 y(1) 二 e ”十 sin?). 
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5. 追击 问题 . 设 甲 向 正 北 方向 运动 , 乙 从 它 的 侧面 进行 追击 ,他 们 均 做 匀速 运动 ,速度 
分 别 为 mm ,mm ,wi 过 vs. 如 图 8-17 所 示 , 初 始 时 刻 甲 位 于 坐 
标 原点 0, 乙 位 于 点 A(a,0). 在 时 刻 1, 甲 运动 到 点 
B(0,w1t), 乙 追击 到 点 PCz,y). 乙 的 运动 方向 始终 沿 甲 乙 
位 置 的 连 线 ,因此 直线 BP 总 与 乙 的 追击 路 径 y> 王 >y(z) 在 
P 点 相 切 . 

(1) 建立 zx、y 关于 时 间 z 满足 的 常 微 分 方程 组 . 

(2) 设 4 二 100m,w 三 1m/min, 分 别 取 也 王 1.5m/min， 0 a 六 
2m/min,2. 5m/min, 用 4 阶 经 典 R-K 方法 求解 该 微分 方 
程 组 ,并 绘 出 追击 曲线 y(x). 

(3) 根据 数值 解 求 甲 运动 到 何 处 时 能 被 乙 追 上 ? 需要 多 少时 间 ? 追击 路 径 的 准确 解 为 


一 坟 vz 本 Vz 这 | Qav1v; 
六 =| 二 (2) rp 上 这 一 这 
根据 它 考察 数值 解 得 到 答案 的 误差 . 
(4) 用 MATLAB 中 的 ode45 命令 求解 该 问题 ,比较 结果 的 准确 度 . 


ph 
B 


图 8-17 追击 问题 
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ee 


附录 A ”有 关 数 学 记号 的 说 明 


变量 字体 与 标记 


本 书 使 用 的 变量 都 采用 斜体 字母 表示 ,并 且 遵 循 下 述 原则 (除非 特殊 说 明 ). 


粗 体 大 写字 母 表示 矩阵 ,如 4, 了 B. 

粗 体 小 写字 母 表示 列 向 量 ,如 xx,y. 

正常 字体 的 符号 表示 标量 ,如 ,zx,a,A. 

带 下 标的 正常 字体 小 写字 母 表示 向 量 或 矩阵 的 元 素 , 如 zxi; ,ai. 

通过 增加 下 标 表示 向 量 或 矩阵 序列 中 的 向 量 或 矩阵 ,下 标 为 序号 ,如 xi ,Ai. 

若 既 要 用 序列 中 的 序号 又 要 用 分 量 编号 , 则 用 带 括号 的 上 标 表示 序号 ,如 Zi” 表示 
第 个 向 量 x” 的 第 i 个 分 量 


. 与 数 ,向 量 ,矩阵 有 关 的 符号 


RR 表示 实数 集合 ,R" 表 示 维 实 向 量 空间 ,R" 表 示 m Xn 实 矩 阵 的 集合 . 复数 域 对 
应 的 表示 分 别 为 C、C" 和 C”". F 表示 计算 机 能 表示 的 浮 点 数 集合 . 

i 表示 单位 虚数 VT, 在 不 混淆 的 情况 下 ,i 常用 于 表示 整数 编号 

(1 ) 表 示 从 个 中 选 个 组 合 数 


在 列 出 向 量 和 矩阵 的 分 量 形 式 时 ,使 用 中 括号 []. 向 量 元 素 之 间 用 空格 或 逗号 分 
隔 , 和 矩阵 元 素 分 行 . 分 列 排列 , 且 不 用 逗号 分 制 . 

(aj ) 表 示 第 i 行 、 第 j 列 位 置 上 元 素 为 a; 的 和 矩 阵 . 

A" 表示 和 矩阵 A 的 转 置 ,A” 表示 算 阵 A 的 道 ,det(4) 为 4 的 行列 式 ,rank(4) 为 矩阵 
4 的 秩 ,o(4) 为 4 的 谱 半 径 . 


由 若干 个 向 量 (Ca ,az ,…,a,) 张 成 的 线性 空间 , 即 {Sra E 及 ,一 1 


记 为 span(al ,qz ,，…,qa)， 对 于 和 矩阵 4 的 列 向 量 张 成 的 线 性 空间 , 简 记 为 span(4). 
零 向 量 和 零 矩 阵 分 别 用 0 和 OO 表示 ;nXn 的 单位 矩阵 记 为 也 ,在 不 至 于 混淆 维 数 情 
况 下 用 I 表示 ;用 e 表示 单位 矩阵 的 第 i 列 ,也 称 为 第 i 个 标准 单位 向 量 . 

内 积 运 算 用 “(, ”表示 . 范 数 用 |‖。 || 表示 ,条 件数 用 cond(，。) 表 示 , 不 同 种 类 的 范 
数 用 下 标 加 以 区 分 ,默认 情况 为 欧 氏 范 数 (2- 范 数 ). 

kt 表示 对 实数 x 下 取 整 得 到 的 整数 ,x| 表 示 对 实数 zx 上 取 整 得 到 的 整数 . 

Re(2Z) 与 Im(2Z) 分 别 表示 复数 Z 的 实 部 与 虚 部 . 

{入 (xz) 表示 实数 x 对 应 的 机 器 数 ,flop 表示 某 种 浮 点 运算 . 


. 与 函数 .关系 有 关 的 符号 


CC(X) 表 示 定 义 在 集合 X 上 的 所 有 连续 函数 ,例如 CLa,b]. C"(X) 表 示 集 合 X 上 的 
所 有 nn 阶 导 数 连续 的 函数 ,C”(X) 表 示 集 合 X 上 的 所 有 任意 阶 导 数 都 连续 的 函数 . 
车 无 特殊 说 明 ,它们 都 是 实 值 函 数 . 
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P, 表示 次 数 不 高 于 nn 次 的 所 有 实 多 项 式 的 集合 . 
自然 对 数 函 数 用 ln 表示 ,其 底数 为 es<z2.718, 一 般 对 数 函 数 用 log 表示 ,底数 通过 下 
标 显示 . 

变量 函数 的 梯度 符号 为 ,例如 wz,z) 的 梯度 , 双 一 [ 
用 位 表示 最 小 二 乘 近似 ,用 三 表示 “定义 为 ”或 “ 恒 等 于 
用 所 表示 等 价 关 系 , 即 符号 左右 两 边 的 命题 互 为 充分 必要 条 件 , 用 二 表示 由 左边 的 


命题 可 以 推出 右边 的 命题 ,而 用 一 表示 从 右边 的 命题 可 以 推出 左边 的 命题 . 
用 一 表示 趋 近 于 或 极限 为 . 


gw du 了 7 
at ”9 并 


. 算法 描述 中 的 符号 


用 :三 表示 赋值 操作 ,三 表示 相等 关系 . 

循环 语句 有 For…End、While…do…End、Repeat…Until… 三 种 形式 . 

分 支 语句 有 If…then…Else…End 和 If…then…End 两 种 ,对 于 后 一 种 情况 ,也 可 简 
写 为 ff…then… 的 一 行 语句 . 

一 对 “{”“}” 符 号 包含 的 内 容 为 算法 注释 . 


. 计算 复杂 度 与 O(，) 记 号 


数值 算法 的 时 间 复 杂 度 主要 用 其 中 包含 的 代数 运算 次 数 来 衡量 . 由 于 当前 的 计算 
机 中 加 法 和 乘法 的 CPU 耗 时 差不多 (很 多 CPU 可 用 单 指令 multiply-add 完成 一 对 
乘法 和 加 法 运算 ) ,因此 ,评价 一 个 算法 的 时 间 复 杂 度 时 应 同时 考虑 乘法 与 加 法 的 运 
算 次 数 ( 一 般 除法 次 数 少 得 多 ,而 减法 也 看 成 是 加 法 ). 
与 较 大 的 nn 相关 的 O(。) 记 号 .在 统计 运算 次 数 时 需要 用 大 O 记号 表示 函数 值 的 
阶 , 此 时 关心 的 是 代表 问题 的 规模 的 量 n 变 大 时 的 情形 .如 果 存 在 正常 数 ,使 对 
较 大 的 nn 都 有 

| GD eK | etny |; 
则 记 

fn) 一 。 

例如 , FCz) 三 31 十 222 十 2 十 90 王 O(02 ) , 若 一 个 算法 的 浮 点 运算 次 数 是 FCz) , 则 它 
的 时 间 复 杂 度 为 0G). 
与 较 小 的 h 相关 的 OC(，) 记 号 . 在 估计 近似 值 的 准确 度 时 ,主要 关心 的 是 代表 步 长 
或 离散 间隔 的 量变 小 时 的 情形 ， 如 果 存 在 正常 数 ,使 对 较 小 的 都 有 

| fC1) [EK | gk) 1, 
则 记 

fh) = Ol(g(h)). 

例如 ,ws 一 1 十 二 1 2 人 上 一 1 十 A 十 O(2)， 因 为 随 记 值 的 变 小 , 居 之 后 的 项 
可 忽略 不 计 , 此 时 称 e 与 1 十 h 的 差 为 O(h?) 小 量 . 值得 一 提 的 是 ,如 果 风 =1/2, 此 
时 O(，) 记 号 的 含义 与 上 面 的 情况 是 一 致 的 . 
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附录 B MATLAB 简介 


MATLAB( 和 矩阵 实验 室 ,Matrix Laboratory 的 简称 ) 是 一 款 著 名 的 数学 软件 ,由 美国 
MathWorks 公司 出 品 . MATLAB 可 以 进行 矩阵 运算 、 绘 制 函数 和 数据 、 实 现 算法 、 创 建 用 
户 界面 .连接 其 他 编程 语言 的 程序 等 ,主要 应 用 于 工程 计算 .控制 设计 、 信 号 处 理 与 通信 、 图 
像 处 理 \ 信 号 检测 金融 建 模 设 计 与 分 析 等 领域 . MATLAB 对 许多 专门 的 领域 都 开发 了 功 

a za， 能 强大 的 模块 集 和 工具 箱 (toolbox) ,诸如 信号 处 

5。 ”Rago | 理 、 图 像 处 理 ,系统 辩 识 .金融 分 析 ` 地 图 工具 . 电 
MATLAB 力 系统 仿真 等 . 事实 上 ,MathWorks 公司 还 有 另 
2 一 个 重要 产品 叫 Simulink, 它 原本 是 MATLAB 中 


Verston 7.10.0.499 (R2010a) 的 一 部 分 ,目前 已 独立 出 来 ,成 为 实现 动态 系统 建 


32-bit (win32) 


rebruary 5 2010 模 与 仿真 .功能 更 丰富 的 一 个 独立 软件 . 图 B-1 是 


License Number: 161051 


MATLAB 软件 的 启动 画面 . 
除了 MATLAB, 还 有 其 他 一 些 著名 的 数学 
软件 ,例如 Wolfram Research 公司 的 Mathema- 
tica。 Mathematica 的 特点 是 符号 计算 能 力 非常 
突出 ,便于 进行 解析 计算 和 公式 的 推导 . 相 比 这 
些 数学 软件 , MATLAB 在 数值 计算 ,尤其 是 矩 
图 B-1 MATLAB 软 件 的 版 权 页 阵 计算 方法 方面 性 能 优越 ,因此 了 解 、 使 用 它 的 
一 些 功能 对 学 习 数 值 分析 等 有 关 课 程 很 有 帮助 . 
MATLAB 是 跨 平台 的 软件 ,适用 于 Windows、UNIX/Linux 以 及 MAC 操作 系统 . 
MathWorks 公司 每 年 进行 两 次 产品 发 布 ,时 间 分 别 在 3 月 和 9 月 ,以 a 和 b 区 分 版 本 号 , 比 
如 2010a 和 2010b. 每 个 版 本 都 包含 32 位 和 64 位 两 种 格式 ,安装 时 会 根据 计算 机 的 情况 自 
动 选择 . 本 附录 以 在 32 位 PC、Windows 7 环境 下 运行 的 MATLAB 2010a 为 例 介 绍 

MATLAB 的 基本 功能 . 


B.1 用 户 界 面 


MATLAB 软件 (可 执行 程序 为 matlab. exe) 启 动 后 ,用 户 界 面 如 图 B-2 所 示 , 其 中 包含 
了 多 个 不 同 功能 的 子 窗口 . 在 命令 窗口 中 输入 edit 命令 ,将 弹出 程序 编辑 窗口 ,可 在 其 中 编 
写 程序 . 在 命令 窗口 中 按 人 键 会 出 现 以 往 输入 过 的 命令 ,而 输入 命令 的 前 几 个 字符 再 按 个 
键 将 从 历史 命令 中 找到 匹配 的 命令 . 通过 这 个 快捷 键 ,可 方便 地 调用 以 前 输入 过 的 命令 ,或 
在 其 基础 上 进行 修改 . 在 主 程序 界面 中 ,通过 菜单 Help|Product Help 可 调 出 帮助 文档 ,其 
中 包含 了 丰富 的 信息 . 程序 编辑 窗口 和 帮助 窗口 示 于 图 B-3 中 . 

MATLAB 的 命令 窗口 和 程序 编辑 窗口 中 的 字体 可 以 通过 菜单 项 File| Preferences | 
Fonts 设置 ,用 户 可 将 字体 调整 为 合适 的 大 小 . 另外 ,通过 菜单 项 File| Set Paths, 可 设置 命 
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disp (A) 
Nd 中 
1 disp(el): 
disp (cl); 


Documentation Set 
"Getting Started 


图 B-3 程序 编辑 窗口 ( 左 ) 和 帮助 窗口 ( 右 ) 


令 路 径 , 便 于 MATLAB 自动 搜索 到 不 在 当前 目录 下 的 文件 和 程序 . 


B.2 基本 数据 格式 


默认 情况 下 ,MATLAB 采 用 IEEE 双 精 度 浮 点 数 进行 数据 的 存储 与 计算 . MATLAB 
中 还 有 一 些 预先 定义 的 保留 字 , 用 来 表示 常数 ( 见 表 B-1). 

MATLAB 变量 名 是 以 字母 开头 ,由 字母 .数字 和 下 划 线 组 成 的 字符 串 , 并 且 字 母 区 别 
大 小 写 . 表 B-1 中 的 特殊 变量 也 可 以 当 作 一 般 的 变量 使 用 ,比如 i 和 j. MATLAB 中 的 变 
量 的 基本 数据 格式 是 矩阵 ,单个 变量 也 默认 为 是 单个 元 素 的 矩阵 ,并且 不 需要 事先 定义 ,一 
个 变量 在 给 它 赋值 时 自动 定义 (但 运算 表达 式 中 不 允许 出 现 未 定义 的 变量 )，clear 命令 可 
以 清空 所 有 已 经 合法 定义 了 的 变量 . 
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表 B-1 MATLAB 中 预定 义 的 常数 


名 
pi 圆周 率 x 
INF( 或 inf) 无 穷 大 
NaN 不 定量 ,比如 0/0 
realmax 最 大 的 正 实数 
realmin 最 小 的 正 实 数 
eps 机 器 精度 的 两 倍 ,2.2204e 一 16 
i( 或 )) 虚数 单位 ,定义 为 V 一 工 
ANS( 或 ans) | 默认 变量 名 ,表示 最 近 一 次 有 效 操作 的 运算 结果 


数据 结果 的 显示 格式 由 format 命令 控制 ,用 法 如 表 B-2 所 示 . 
表 B-2 控制 数据 显示 格式 的 命令 


命 令 显示 格式 
format 默认 值 ,数据 显示 格式 与 short 格式 相同 
format short 短 格式 , 仅 显 示 5 位 有 效 数字 
format long 长 格式 ,显示 15 位 有 效 数 字 
format short e 对 任意 小 数 , 显 示 仅 带 5 位 有 效 数 字 和 3 位 指数 的 数据 
format long e 对 任意 小 数 ,显示 带 15 位 有 效 数 字 和 3 位 指数 的 数据 
format hex 以 十 六 进 制 显示 
format rat 以 有 理 数 显示 


B.3 基本 数学 函数 


MATLAB 支持 的 部 分 常用 数学 函数 如 表 B-3 所 示 . 这 些 函 数 的 自 变 量 可 以 是 标量 ,也 
有 可 能 是 矩阵 (包括 向 量 ). 


表 B-3 常用 的 数学 函数 


函数 名 数学 运算 函数 名 数学 运算 
abs(Cz) 数 或 向 量 的 模 gcd(zx,y) 整数 x 和 y 的 最 大 公约 数 
angle(z) 复数 的 辐 角 (弧度 ) log(z) 以 e 为 底 的 对 数 

real(z) 复数 的 实 部 log2(z) 以 2 为 底 的 对 数 
round(z) 四 使 五 人 至 最 近 整 数 exp(zZ) e 的 工 次 方 

floor(zx) 不 超过 z 的 最 大 整数 sin(x) 正弦 函数 


2 SL 2 


附录 B MATLAB 简介 


函数 名 数学 运算 函数 名 数学 运算 
cos(CZ) 余弦 函数 lem(Cz,y) 整数 zx 和 y 的 最 小 公信 3 
tan(z) 正切 函数 log10(x) 以 10 为 底 的 对 数 
sinh(x) 双 曲 正弦 函数 pow2(x) 2 的 x 次 方 
cosh(x) 双 曲 余弦 函数 sign( x) 符号 函数 

tanh(Cz) 双 曲 正切 函数 asin( x) 反正 弦 函 数 
sqrt(Z) 开 方 acos(x) 反 余 弦 函 数 
conj(z) 复数 的 共 斩 atan(z) 反正 切 函 数 
imag(zx) 复数 的 虚 部 asinh( x) 反 双 曲 正 弦 函 数 
fix(Cz) 舍 去 小 数 部 分 至 最 近 整 数 acosh(z) 反 双 曲 余弦 函数 
cell(Cz) 不 小 于 xz 的 最 小 整数 atanh(z) 反 双 曲 正切 函数 


B.4 矩阵 运算 


B.4.1 矩阵 的 输入 


生成 小 矩阵 的 常用 方法 是 直接 从 命令 本 整个 矩阵 以 中 为 首尾 ,矩阵 的 行 与 行 
之 间 用 分 号 "; ?或 者 回 车 相隔 ,每 行 中 的 元 素 用 逗号 ”, ?或 者 空格 分 隔 (注意 不 要 输入 中 文 标 
点 ,确保 输入 法 在 英文 状态 ). 例如 在 命令 窗口 输入 : 


>>a=[81 6;357;492] 


命令 窗口 显示 的 结果 为 


如 果 在 上 述 命令 后 面 加 上 分 号 ";" 则 同样 生成 矩阵 ,但 并 不 在 命令 窗口 显示 结 
另外 ,MATLAB 中 矩阵 的 数据 存储 顺序 是 列 优先 的 . 例如 在 上 述 命令 之 后 再 输入 
>>a (4) 


命令 窗口 显示 的 结果 为 


ans= 


较 大 规模 的 矩阵 可 以 使 用 load 命令 从 文件 读 入 ,例如 在 当前 工作 空间 的 文件 夹 下 创建 
文本 文档 input. txt, 包 括 如 下 内 容 : 


pe - 治 
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5 
8 3 


然后 在 命令 窗口 输入 : 
>>b=1load('input.txt') 
命令 窗口 显示 的 结果 为 


b= 
和 
4 
7 


类 似 地 ,Windows 下 的 MATLAB 也 可 以 从 Excel 数据 表格 中 读 取 数据 (只 有 和 较 高 版 本 


的 MATLAB 才 支 持 从 2007 版 本 的 Excel 创建 的 xlsx 文档 中 读 取 数据 ,所 以 一 般 请 将 数据 
保存 为 xls 格式 ) ,使 用 xlsread 命令 ,例如 在 命令 窗口 输入 : 


ma ND 
om w 


>>a=xlsread('test.xls') 
则 读 出 test. xls 文件 中 的 数据 表格 ,命令 窗口 显示 的 结果 是 : 


a= 
1 号 3 
4 5 6 
下 和 


还 有 一 些 命令 可 生成 特殊 矩阵 , 列 于 表 B-4 中 . 
表 B-4 生成 特殊 矩阵 的 命令 


命 令 功 能 
aeros(mm | 生 威 六 行列 全 天 了 
ny) | 生 威 闵行 " 列 全 1 天 了 
eye(m,n) 生成 m 行 n 列 对 角 线 元 素 ( 行 标 等 于 列 标 ) 为 1 的 矩阵 
randCmyn) 生成 加 行 n 列 随机 和 矩阵 
dd 生成 一 个 以 向 量 z 的 元 素 为 距 主 对 角 线 距离 d 的 对 角 线 元 素 的 矩阵 
( 主 对 角 线 以 上 d>0 反之 则 d<0) 


注意 : diag 这 个 命令 也 可 以 反 过 来 使 用 , 即 如 果 下 面 的 命令 中 4 是 矩阵 

>>x=diag (A,d) 

那么 结果 是 将 矩阵 A 距 主 对 角 线 距离 a 的 对 角 线 的 元 素 存 储 在 向 量 x 中 ,这 里 的 x 默 
认为 列 向 量 . 

向 量 ( 数 组 ) 是 一 种 特殊 的 矩阵 ,可 以 用 输入 矩阵 的 方式 建立 . 常用 的 是 数值 为 等 差 数 
列 的 数组 , 它 方便 地 通过 “ : ”来 创建 ,例如 : 

>>x=-5:1:5 
其 中 两 个 “: ”之 间 的 是 等 差 间隔 ( 若 省 略 它 表示 间隔 为 1). 执行 该 命令 后 ,命令 窗口 显示 的 
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结果 为 (得 到 一 个 行 向 量 ) : 


X 一 


=5 =4 =3 =2 =1 0 1 23 4 5 
B.4.2 矩阵 的 代数 运算 
矩阵 的 加 \ 减 、 乘 等 运算 与 标量 的 没什么 区 别 , 表 B-5 中 列 出 一 些 常见 的 矩阵 运算 . 
表 B-5 常见 的 矩阵 运算 


命 令 功 能 命 人 4 功能 
[m,n]= size(A) m 为 行 数 ,n 为 列 数 rank(A) 矩阵 的 秩 
det(A) 方 阵 的 行列 式 求 出 矩阵 A 所 有 特征 什 


inv( A) 和 矩阵 的 首 cond(A) 矩阵 的 条 件数 
A 和 矩阵 的 共 赤 转 置 A.!' 元 素 转 置 不 求 共 思 


关于 稀 琉 矩阵 和 线性 方程 组 求解 ,以 及 相关 函数 的 使 用 ,参见 本 书 第 3 章 有 关内 容 . 下 
面 介 绍 通过 “; ”符号 取 和 矩阵 的 部 分 元 素 的 功能 . 例如 ,命令 


>>B=A(m:n,p:q) 


得 到 的 结果 将 是 A 的 第 m 行 到 第 n 行 ,第 pp 列 到 第 g 列 的 子 和 矩阵 . 而 A(:,n) 和 Alm,:) 分 
别 表示 和 矩 阵 4 的 第 n 列 和 第 m 行 向 量 . 例如 ,对 于 前 面 定义 的 矩阵 a ,输入 : 


>>b=a(2,:) 
得 到 结果 为 : 


b= 
4 5 6 


除了 这 些 基本 的 运算 , 表 B-6 列 出 了 一 些 较 复杂 的 运算 . 
表 B-6 较 复 杂 的 矩阵 算法 的 命令 


命 令 功 能 
[V,Jj]=jordan(A) J 是 A 的 约 当 标准 型 ,V 是 相似 变换 矩阵 ,A 二 Vx*]x inv(V) ,默认 复数 域 
[L,U,P]=lu(A) 求 矩 阵 A 的 LU 分 解 ,Px A=LxU 
R= chol(A) Cholesky 分 解 ,A 王 R' x R,R 为 上 三 角 和 矩阵 
[Q,R]=aqr(A) QR 分解 ,A 二 QxR 
[V,D]=eig(A) 特征 值 分 解 ,D 对 角 线 元 素 为 A 的 特征 值 ,A * Vv 二 VxD 
[U,S,V]=svd(A) 奇异 值 分 解 ,A 二 UxSx*V 


B.4.3 逐 项 运算 符 


MATLAB 中 有 个 特殊 的 逐 项 运算 符 “.”, 它 的 功能 通过 表 B-7 说 明 ,其 中 A 和 B 是 同 
阶 的 矩阵 . 
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表 B-7 逐 项 运算 符 


得 到 和 A 同 阶 矩阵 P,P(i,j) 二 A(i,j) x* B(i,j) 


Q=A.^B | 得 到 和 A 同 阶 矩阵 Q,QGi,))==AG,j)-B(Gi,j) 
R= A./B | 得 到 和 A 同 阶 和 矩阵 R,RG,j)==AGi,j)/B(i,j) 
S=A.\B 得 到 和 A 同 阶 矩阵 S,S(i,j) 二 BG(i,j)/A(i,j) 


值得 一 提 的 是 ,线性 代数 中 还 有 一 些 方 阵 函 数 , 例 如 指数 函数 


4 一 站 二， 


k=0 


在 MATLAB 中 它们 对 应 于 expm、logm、sqrtm 等 命令 ,其 名 字 是 对 应 的 标量 函数 后 面 加 上 
m, 例 如 输入 : 


>>A= [1,0;0,1]; 


则 
>>expm (A) 
结果 为 
ans= 
2707183 0 
0 257183 
而 输入 : 
>>exp (A) 


的 结果 为 (注意 这 个 命令 的 不 同 含义 ) 


ans= 
2.7183 1.0000 
1.0000 2.7183 


B.4.4 向 量 的 函数 


向 量 是 特殊 的 矩阵 , 表 B-8 列 出 了 一 些 经 常用 于 向 量 的 函数 . 
表 B-8 常用 于 向 量 的 函数 


命 令 功 能 命 令 功 能 
min(x) 向 量 zx 元素 的 最 小 值 sort( x) 对 向 量 z 的 元 素 升序 排序 
max( x) 向 量 x 元素 的 最 大 值 norm( x) 向 量 x 的 模 
mean( x) 向 量 x 元素 的 平均 值 sum(x) 向 量 z 的 元 素 总 和 
median( x) 向 量 xz 元素 的 中 位 数 prod( x) 向 量 zx 元 素 总 乘积 
stdCx) 向 量 x 元素 的 标准 差 diff( x) 向 量 zx 相 邻 元 素 的 差 
dot(x,y) 向 量 x 和 y 的 内 积 cross(x»y) 向 量 z 和 > 的 外 积 
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B.5 其 他 和 常用 的 数学 计算 
B.5.1 逻辑 运算 
在 MATLAB 中 任何 数值 都 可 以 参与 逻辑 运算 ,并 且 在 逻辑 运算 中 ,把 所 有 非 零 值 看 作 


逻辑 真 , 零 值 看 作 逻 辑 假 . 一 般 的 数值 可 以 用 logic 命令 转换 为 逻辑 变量 . 常用 的 逻辑 运 
算 .关系 运算 符 列 于 表 B-9 中 . 


表 B-9 常用 逻辑 运算 符号 


运 功 能 
&. 人 逻辑 与 运算 等 于 
| 逻辑 或 运算 不 等 于 


逻辑 非 运 算 
B.5.2 多 项 式 


在 MATLAB 中 ,可 用 行 向 量 表示 多 项 式 , 其 元 素 为 按照 降 客 排列 的 多 项 式 系数 ,例如 : 
p(x) = 型 一 袜 十 1 


在 MATLAB 中 可 表示 为 
p=[1,0,-1,1] 
MATLAB 中 的 roots 命令 用 于 求 多 项 式 的 零点 ,其 输入 就 是 上 面 表示 的 多 项 式 . 
>>roots (P) 
结果 为 
ans= 
=1.3247 
0.6624+0.5623i 
0.6624-0.5623i 
还 有 一 个 相关 的 命令 是 poly, 它 的 输入 是 多 项 式 零 点 组 成 的 向 量 , 而 输出 是 多 项 式 对 
应 的 向 量 , 如 果 输 入 是 一 个 矩阵 , 则 得 到 矩阵 的 特征 多 项 式 . 


B.5.3 函数 极 值 和 最 值 

在 实际 应 用 中 ,经 常会 遇 到 求 函 数 极 小 值 的 情况 ,常用 的 命令 是 fminuc. 有 两 种 使 用 
方式 : 

fminune (£f, x1,x2) 


功能 是 求 函 数 了 在 zl 和 zx2 之 间 的 最 小 值 . 
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还 有 一 种 是 : 

fminunc (f,x0) 
功能 是 求 函 数 f 从 初始 解 x0 出 发 的 最 小 值 . 这 个 命令 中 的 函数 可 以 是 下 面 要 讲 到 的 自 定 
义 的 函数 . MATLAB 没有 求 最 大 值 的 函数 , 求 最 大 值 时 ,转化 为 求 这 个 函数 的 相反 数 的 最 
小 值 . 


B.6 程序 设计 


MATLAB 中 的 程序 都 保存 为 扩展 名 为 m 的 文件 , 称 为 M 文件 . M 文件 有 脚本 文件 和 
函数 文件 两 种 .脚本 文件 是 简单 执行 一 系列 的 MATLAB 语句 ,按照 文件 中 指定 的 顺序 执 
行 命令 序列 . 函数 文件 中 有 函数 定义 语句 一 一 function, 用 户 可 以 用 自己 编写 的 函数 来 扩充 
函数 库 . 在 编程 语句 中 ,字符 % 之 后 的 内 容 是 注释 语句 。 


B.6.1 结构 控制 语句 


1. 选择 结构 

选择 结构 常 使 用 让 语句 ,例如 : 

if rem (a,2)==0 $$ 判断 a 是 否 是 偶数 ,其 中 rem 为 取 余数 的 函数 
a=a/2; 

end 


计 可 以 和 else 一 起 使 用 ,成 为 if…else…end 语句 ,例如 : 


if a>b 
y=a; 
else 
y=b; 
end 
另 一 种 选择 结构 使 用 if…elseif…elseif…else…end 语句 , 稍 有 不 同 . 当然 ,选择 语句 可 
典 套 使 用 ,但 应 注意 关键 字 end 的 匹配 . 
和 C 语 言 类 似 ,MATLAB 也 实现 了 多 路 分 支 选 择 的 结构 , 即 switch 语句 ,下 面 是 一 个 
例子 : 


switch var 对 var 分 情况 讨论 
Case 1 
y=a; 
case 2 
y=b; 
case 3 
y=c; 
otherwise 


Y=0 
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2. 循环 结构 
最 基础 的 循环 是 while 循环 ,例如 : 
while i<n 

i=it+l1; 


end 
也 有 for 循环 ,例如 : 


for i=1:n 
sum=sum+ 1/i; 

end 

对 于 while 循环 和 for 循环 ,都 可 以 使 用 continue 语句 ,含义 是 结束 本 次 循环 , 跳 过 循环 
体 中 下 面 未 执行 的 语句 ,直接 进入 下 一 次 循环 . 

MATLAB 中 虽然 有 循环 结构 ,但 是 实际 编程 中 要 尽 可 能 利用 MATLAB 高 效 的 矩阵 
运算 ,减少 不 必要 的 循环 . 可 以 说 ,一 个 会 写 MATLAB 程序 的 人 ,是 尽量 少 地 用 for 循 
环 的 . 

比如 表达 式 


Pls uy + (y;— vi)’] 
涉及 向 量 x.u、y、v. 用 前 面 逐 项 运算 符 , 它 对 应 命令 为 : 


EU 


又 比如 w 是 列 向 量 ,u x ones(1,n) 就 得 到 一 个 有 nn 列 的 矩阵 ,矩阵 每 一 列 都 是 wu， 类 似 
地 ,ones(m,1) x*v 把 行 向 量 v 扩展 成 一 个 有 m 行 的 矩阵 . 
一 个 例子 ,说 明 利用 Kronecker 张 量 积 命 令 kron 简化 计算 . kron(A,B) 就 是 把 B 
放 到 A 的 每 个 元 素 处 ,比如 XX 是 一 个 2X3 的 矩阵 ,那么 kron(X,Y) 表 示 : 


[X(1,1) xxY X(1,2) xY XxX(1,3)*xY 
X(2,1) *Y X(2,2) x*Y X(2,3)x*Y] 


利用 这 个 可 以 简化 很 多 操作 ,例如 (xz,y 为 两 个 列 向 量 ): 


P=zeros (121,2) 
for i=0:10 
for j=1:11 
六 (1) 
P(A 
end 


end 
这 里 有 两 重 循环 ,如 果 用 直 积 来 写 的 话 就 是 : 
P(:,1)=kron (x, ones (11,1)); 
P(:,2)=kron (ones (11,1),y); 
这 样 就 省 去 了 循环 . 
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B.6.2 字符 串 


1. 字符 串 的 基本 操作 

和 其 他 高 级 程序 设计 语言 一 样 , MATLAB 中 也 有 字符 和 字符 串 . 字符 串 的 命名 和 变量 
相同 ,建立 字符 串 命 令 的 一 个 例子 是 : 

>>a= "abc' 


abc 
注意 空格 是 一 个 字符 ,而 且 字符 串 中 的 空格 是 算 字 符 串 长 度 的 ,比如 对 于 上 例 : 


>>1Length (a) 
ans= 
5 


可 以 用 方 括号 把 多 个 字符 串 合 并 ,可 以 合并 成 单行 或 者 多 行 的 字符 串 ( 多 行 字符 串 为 字 
符 型 矩阵 )， 例如 : 


>>a='abc'; 
>>b='c de'; 
>>c= [a b] 
c= 

abccde 

下 面 是 合并 成 为 多 行 字符 串 的 例子 (此 时 要 求 两 个 字符 串 的 长 度 必须 相同 ) 
>>a='abc'; 
>>b='de f'; 
>>c= [ay b] 
c= 

abe 

def 


2. 字符 串 的 操作 函数 
常用 的 字符 串 操 作 函 数 及 其 功能 如 表 B-10 所 示 ,实际 上 和 CVC++ 语言 非常 类 似 . 
表 B-10 字符 串 操作 的 函数 


命 令 人 

5 | 比较 < 和 是 否 相 同 , 若 相同 返回 逻辑 真 ,否则 返回 逻辑 候 
strnemp(as bn) | 比较 a 和 4 的 前 n 个 字符 是 否 相同 

streat(a,b) 合并 a 和 (合并 成 为 新 的 字符 串 , 并 不 是 像 C 语 言 中 连接 到 a 后 面 ) 


B.6.3 人 机 交互 和 输入 输出 


1. 命令 窗口 函数 
常用 的 命令 窗口 输出 函数 是 disp 函数 . disp 使 用 的 例子 如 下 : 
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disp (x) s 在 命令 窗口 显示 x 的 值 
disp('Hello World!'); 在 命令 窗口 显示 “Hello World!” 


disp 命令 也 可 以 同时 显示 字符 和 数字 ,注意 要 把 数字 转化 为 字符 显示 ,例如 : 


X=1.5 


disp(['The value of x is ',num2str (x)]); 

其 中 num2str(x) 的 功能 是 把 xz 转化 为 字符 ,输出 结果 是 : 

The value of x is 1.5 

input 命令 可 以 用 来 提示 用 户 从 键盘 输入 数据 ,利用 input 命令 输入 数据 的 例子 如 下 : 

x=input('input data x:'); 

这 个 代码 运行 的 结果 是 命令 窗口 显示 : 

input data x: 
提示 用 户 输入 数据 x. 

2. 文件 操作 函数 

除了 前 面 讲 到 的 load 函数 以 外 ,MATLAB 还 有 类 似 C 语言 的 文件 输入 函数 fscanf 和 
文件 输出 函数 fprintf， 使 用 的 时 候 有 配套 的 先 用 fopen 函数 打开 文件 ,fclose 函数 关闭 文 
件 . 这 些 函 数 如 何 使 用 ,结合 下 面 的 例子 具体 说 明 . 


fpl=fopen('inputl1.txt','r'); gs 指 向 文件 input1.txt, 以 'r' 只 读 方式 打开 
fp2=fopen ('output1.txt', 'w');  % 指 向 文件 output1.txt, 以 'w' 只 写 方式 打开 


x=fscanf (fpl, '%f'); s 利 用 fpl 从 inputl.txt 读 人 数据 到 x 
fprintf (fp2,'%9.8f',x); s 利 用 fp2 输出 数据 到 output1.txt 
fclose (fp1); gs 关闭 文件 input1.txt 

fclose (fp2); gs 关闭 文件 output1.txt 


输入 函数 fscanf 括号 中 的 引号 中 的 工 代表 数据 是 实数 . 

输出 函数 fprintf 括号 中 的 引号 中 的 符号 代表 了 输出 格式 ,有 多 种 形式 ,下 面 是 两 个 例子 . 

(1) %p. qf: 小 数 形式 输出 ,总 字 长 户 位 ,其 中 小 数 点 后 9 位 . 

(2) %p. qe: 指数 形式 输出 ,总 字 长 p 位 ,其 中 指数 部 分 g 位 . 

这 里 只 介绍 了 最 基本 的 文件 操作 , MATLAB 也 支持 Excel 等 格式 文件 的 数据 读 写 , 详 
见 帮助 文档 . 
B.6.4 用 户 自 定 义 函 数 

用 户 可 以 自 定义 函数 写成 函数 式 的 M 文件 ,第 一 行 以 function 关键 词 开始 ,说 明 此 文 
件 是 一 个 函数 . 默认 情况 下 ,函数 式 M 文件 中 的 变量 都 是 局 部 变量 , 仅 在 函数 运行 期 间 有 
效 ,函数 运行 结束 ,这 些 变量 将 从 工作 空间 中 清除 . 下 面 是 一 个 简单 的 自 定义 函数 的 例子 : 

function f=myfun (x) 

f=2x x+512/x; 


用 户 在 命令 窗口 输入 : 
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>> fminunc (@ myfun, 1) 
结果 为 


ans= 


15.9991 


除了 写成 M 文件 ,还 可 以 用 匿名 函数 的 方式 定义 函数 . 例如 ,上 面 的 函数 可 以 这 样 定 
义 : myfun 一 @(x) 2 x x 十 512/x; 再 使 用 它 时 不 需要 加 @ 符 号 . 例如 : fminuncCmyfun，1). 

和 C/C++ 等 高 级 语言 一 样 ,MATLAB 中 也 有 结构 体 类 型 数据 ,可 以 实现 更 复杂 的 数 
据 结构 . 不 仅 如 此 ,MATLAB 中 还 有 类 似 C/C++ 中 指针 的 机 制 用 以 传递 数据 ,有 类 和 对 
象 , 可 以 进行 面向 对 象 的 程序 设计 (OOP), 可 以 进行 MATLAB 和 C++ 的 混合 编程 ,还 可 以 
开发 图 形 界面 的 程序 (GUD , 感 兴趣 的 读者 可 以 参考 进一步 的 资料 . 


B.7 符号 计算 


MATLAB 也 具有 相当 不 错 的 符号 计算 能 力 ,这 里 做 简要 介绍 . 符号 计算 最 常用 的 两 个 
命令 是 sym 和 syms. 

sym 常用 的 是 两 种 功能 . 

(1) S=sym(A) ,把 表达 式 A 转化 为 符号 对 象 S. 

(2) x 一 sym(x) ,以 'x' 为 名 创建 符号 变量 ,并 将 结果 存储 到 z. 

下 面 是 一 个 用 sym 函数 定义 符号 表达 式 的 例子 : 


>>a=sym('a'); 
>>b=sym('b'); 
>>c=sym('c'); 

>>x= sym('x'); 

>>f=ax x^2+bx X+C 

f= 

人 
>>h=sym('ax* x^2+bx* xt+c') 
h= 


ax x 2+bx* X+C 


MATLAB 还 可 以 用 syms 函数 创建 符号 对 象 ,调用 语法 如 下 : 


syms argl arg2; s 等 同 于 argl=sym('argl'); arg2=sym('arg2'); 
符号 多 项 式 运 算 的 常用 命令 如 表 B-11 所 示 . 
表 B-11 符号 多 项 式 运 算 的 常用 命令 


命 令 功 能 命 令 功 能 
collect( 表 达 式 ,v)| 指定 v 为 独立 变量 ,合并 同类 项 | factor( 表 达 式 ) | 将 表达 式 进行 因 式 分 解 


expand( 表 达 式 ) | 将 表达 式 展开 为 多 项 式 simply( 表 达 式 ) | 将 表达 式 简化 


。328 。 


附录 B MATLAB 简介 


用 符号 运算 求解 方程 和 方程 组 的 函数 是 solve, 使 用 格式 如 下 : 


solve('f') s 解 方程 f 
solve('Efl fn xl xny) gs 对 指定 的 自 变 量 x1,* ,xn 解 方程 组 f1,，…， fn 


下 面 通过 两 个 例子 简单 说 明 . 输入 : 


>>syms abcx 
>>S=a X21+Db xt+c? 


>>solve(S,'x') 
结果 是 : 

ans= 

“ax b= tb"2- a ce "t/a /a 

-1/2% (b+ (DD"2=-4%a% Ce) 人 ^ (1/2) /a 
正好 是 求 根 公 式 . 

输入 : 

>>syms uva 

>>S=solve ('u^2-v^2=a^2', 'UtV=1','u','Vv') 
结果 是 ， 

S= 


u: [1xl sym] 
V: [lxl1 sym] 


需要 具体 查看 的 话 , 输 入 : 
| 
读者 从 这 里 可 以 看 出 ,S 其 实 是 一 个 “结构 体 ”, 结 果 是 : 


ans= 
L214/2 a*2 


B.8 绘图 功能 


MATLAB 具有 强大 的 图 形 编 辑 功 能 ,拥有 大 量 灵活 、 易 用 的 二 维和 三 维 图 形 命 令 , 这 
里 介绍 最 基本 的 应 用 . 


B.8.1 二 维 图 形 


对 于 离散 实 函 数 y; 二 了 (zi) (i 二 1,…,n) ,对 于 自 变量 组 成 的 向 量 , 求 出 对 应 函数 值 的 向 
量 , 将 对 应 的 点 列 在 直角 坐标 系 中 画 出 ,就 实现 了 离散 函数 的 可 视 化 ,对 于 连续 的 函数 ,也 
是 先 计算 出 在 一 组 离散 自 变 量 上 的 函数 值 , 并 把 这 些 点 列 在 图 中 表示 ,为 表现 出 函数 的 连续 
性 ,可 对 区 间 做 出 很 细 的 分 割 . 

plot 是 最 基本 的 绘图 命令 ,例如 输入 : 
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>>t==10.05:1s 
>>y=2x*t.^2-1; 
Splot (ty Db") 


则 显示 出 图 形 窗 口 ,如 图 B-4 所 示 . 
这 里 使 用 了 “. ”操作 符 ,表示 对 向 量 的 各 个 元 素 逐 个 进行 计算 ,这 是 绘图 中 常用 到 的 操 
令 还 有 


作 符 之 一 ; 单 引 号 中 的 b 代表 blue, 表 示 用 蓝 色 绘制 曲线 . plot 命令 多 种 使 用 格式 , 详 
见 表 B-12. 
表 B-12 plot 命令 的 使 用 格式 
一 Vew Iaer Toolk Detkrop Window Meip - 一 命 令 功 能 
口 百 国电 | | 改 握 站 轿 灾 四- SIO oo 
本 以 为 横 坐 标 ,y 为 纵 坐标 ,按照 
四 / ee 坐标 (zi ,yw ) 的 有 序 排 列 绘制 曲线 
和 / Es 以 ;为 横 坐标 ,y 为 纵 坐标 , 按 昭 
| \ / BD 坐标 (i,w) 的 有 序 排列 绘制 曲线 
本 本 以 横 轴 为 实 轴 , 纵 轴 为 虚 轴 ,在 复 
澡 平面 上 绘制 复数 序列 = 
| : / et a 功能 基本 同 plot(x,y), 但 按 s 指 
了 SR PotGxcyY's ”| 定 的 样式 绘制 曲线 
plot(x,yl1,'s1', | 将 多 条 曲线 画 在 同一 个 坐标 系 


xyy2,'S2',…) 中 ,分 别 绘 成 s1 、s2… 的 颜色 


图 B-4 抛物 线 y=2# 一 1 在 [一 1,1] 上 的 图 像 


表 B-12 中 的 s，s1，s2 等 样式 字符 串 可 以 是 颜色 和 线 型 标识 符 的 组 合 ,具体 的 这 两 类 
标识 符 列 于 表 B-13 中 . 


表 B-13 plot 命令 中 的 颜色 、 线 型 设置 参数 


功 能 
一 一 | 虚线 号 蓝 白色 


点 线 x 号 品 红色 


点 划 线 号 青色 


MATLAB 中 可 以 对 图 形 和 坐标 进行 操作 和 修改 ,常用 的 函数 如 表 B-14 所 示 。 


表 B-14 ”对 绘图 区 的 一 些 属性 修改 的 命令 


命 令 功 能 
subplot(m,n,k) 在 一 个 窗口 中 绘制 mXn 个 图 形 ,其 后 plot 的 图 位 于 位 置 k 
title('s') 在 图 形 上 方 显示 标题 s 
xlabel(s) 用 s 标 记 X 轴 
ylabel('s) 用 s 标 记 Y 轴 
text(x,y,'s') 将 s 显示 在 (z,y) 决 定 的 位 置 上 
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续 表 
和 学 功 能 
gtext(C's) 将 s 显示 在 鼠标 确定 的 位 置 上 
hold on 保留 现 有 图 形 ,随后 的 图 形 县 在 此 图 上 
hold off 解除 hold on ,随后 的 图 形 覆 盖 现 有 图 形 
grid on 显示 坐标 网 格 
axis auto 坐标 使 用 默认 设置 
axis(xmin, xmax,yminyymax) 设 定 x 和 yy 坐标 的 刻度 显示 范围 
axis equal 横 纵 坐 标 采用 等 长 刻度 


下 面 看 一 个 综合 性 的 例子 ,由 于 命令 较 多 ,这 里 写成 脚本 式 的 m 文件 , 写 好 后 ,在 命令 


窗口 运行 . 
We= T0051 
t0=1.0+0x x; 
tl=x; 
t2=2¥ x.% tl1-t0r 
t3=2x%* x. * t2-t1; 
title('Chebyshev Poly'); 
xlabel('x');ylabel ('y'); 
hold on; 
plot (x,t0) ;gtext ('TO'); 
plot (x,t1);gtext ('T1'); 
plot (x,t2) ;gtext ('T2°'); 
plot (x,t3) ;gtext ('T3°'); 


设 文件 名 为 Che. m, 内 容 如 下 : 


在 命令 窗口 输入 Che, 输 出 图 形 如 图 B-5(a) 所 示 . 


国 Fomel 


一 
| 


DB 日 和 |N DORA- A 0 a 儿 D 马 日 总 | 六 不 如 司 吕 XK-| 吕 | 0 加 | a 回 
Chebysne Po Cy TY ChebymevT1 
1 7) 2 1 
| 08| \ / A > fl 1 05 
9% \ / \ n /| 区 二 > 0 
04 \ /| 0 45 
一 /四 | 


2 We 
1 
x 


(a) 在 同一 坐标 系 


(b) 在 不 同 坐标 系 


0 次 至 3 次 第 一 类 切 比 雪夫 多 项 式 在 区 间 [ 一 1,1] 上 的 曲线 


如 果 程 序 改 写成 subplot 的 形式 , 即 : 


x¥==10.05s1s 
tO0=1.0+0x x; 
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tl1l=x; 

E22=2% .tl1=t0s 

tt 

subplot (2,2,1) ;plot (x,t0) ;title('Chebyshev T0');xlabel ('x');ylabel ('y'); 
subplot (2,2,2) ;plot (x,t1);title('Chebyshev T1');xlabel ('x');ylabel ('y'); 
subplot (2,2,3) ;plot (x,t2) ;title('Chebyshev T2');xlabel ('x');ylabel ('y'); 
subplot (2,2,4) ;plot (x,t3) ;title('Chebyshev T3');xlabel ('x');ylabel ('y'); 


下 | 输出 的 图 形 如 图 B-5(b) 所 示 . 
GEENINECGCEEPICTEEIE - fplot 命令 可 以 方便 绘 出 自 定义 函数 的 图 形 , 看 
1 | 一 个 简单 的 例子 ,输入 : 


>>fplot('sin(x.^2)",[0,10]) 


得 到 函数 f(x) 二 sin(x?) 在 区 间 [0,10] 上 的 图 
像 ( 如 图 B-6 所 示 ). 

和 plot 命令 的 区 别 是 fplot 并 不 需要 给 出 取 值 
点 的 选取 ,实际 上 , 它 是 根据 函数 值 自 适应 地 选取 取 
值 点 的 . 男 一 个 常用 绘制 函数 曲线 的 命令 是 ezplot， 

图 B-6 函数 f(z) 二 sin(x?) 在 读者 可 以 自己 试 试 它 . 
区 间 [0,10] 上 的 图 像 plot 命令 使 用 的 是 笛 卡 儿 坐 标 系 ,MAITLAB 中 也 
可 以 绘制 其 他 坐标 系 的 图 形 , 比 如 极 坐 标 、 半 对 数 坐 标 、 双 对 数 坐标 . 命令 及 对 应 功能 如 表 B-15 
所 示 . 


表 B-15 针对 不 同 坐标 系 的 绘图 命令 
命 令 功 能 


semilogy(x,y) | 在 半 对 数 坐 标 系 中 绘图 ,Y 轴 用 以 10 为 底 的 对 数 刻度 标定 ,类 似 于 plot(x, logio (y)) 


loglog(x,y) X 轴 、Y 轴 均 用 以 10 为 底 的 对 数 刻度 标定 ,类 似 于 plot(logio (x) ,logio (y)) 


下 面 看 一 个 例子 , 它 以 极 坐 标 绘制 函数 


5 
,COst 


。 1 
r= es 2cos4t + (sin 2 


输入 : 


>>t=linspace (0,22* pi,1100); 
>>r=exp (cos(t))-2x* cos(4*t)+ (sin(t./12)).^5; 
>>p=polar (t,r) 


图 形 如 图 B-7(a) 所 示 . 其 中 linspace(xl,x2,N) 的 功能 是 在 zl 和 x2 之 间 均 匀 地 产生 
六 个 取 值 点 . 在 上 述 命 令 之 后 输入 : 


>> Lx;y]=pol2cart (ty i)s s 算 出 对 应 的 笛 卡 儿 坐 标 
二 B32 = 
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>>plot (x, y) 在 笛 卡 儿 坐 标 系 中 绘图 
得 到 笛 卡 儿 坐 标 系 中 的 图 形 如 图 B-7(b) 所 示 . 
加 ex EREEE 于 "| 


Fe de Ve Beet Toc Denisep Wodcn Help -| 
DD 日 国名 N 入 人 有 有 DRA" QA 0 amD 


(a) (b) 
图 B-7 极 坐 标 绘制 函数 图 像 示例 


B.8.2 三 维 图 形 

1. 曲线 的 绘制 

三 维 空间 里 的 曲线 绘制 通过 plot3 命令 实现 ,命令 格式 和 对 应 功能 如 表 B-16 所 示 . 

表 B-16 三 维 空间 里 的 曲线 绘制 
功 能 

按照 坐标 (zy ,zi) 的 有 序 排列 绘制 曲线 
功能 基本 同上 ,把 曲线 绘制 成 s 指定 的 样式 
在 同一 坐标 系 内 ,用 sl 的 样式 绘制 曲线 1, 用 s2 的 样式 绘制 曲线 2 


plot3(xy,y,z) 


plot3(x,y,z,'s') 


plot3(xl,yl,zl ,'sl',x2,y2,z2,'s2'.…*) 


这 里 三 个 坐标 的 数组 x、y 和 z 必须 有 相同 的 元 素 个 数 ,s、sl、s2 可 以 按照 表 B-13 进行 


选择 . 下 面 看 一 个 三 维 空 间 的 曲线 的 例子 ,输入 : ae 一 一- 和 
|D 吾 日 入 8 | 六 信 可 DRR G0 a | 


>>t=0:pi/100:5x* pi; 

>>plot3{(3* sin(t},2* coa(t);t) 
图 形 如 图 B-8 所 示 ,这 是 一 个 椭圆 螺旋 线 . 

2. 曲面 的 绘制 

MATLAB 可 以 在 三 维 坐 标 中 绘制 曲面 . 
MATLAB 中 通过 和 矩形 网 格 组 合 来 描绘 曲面 ,即将 
(zy) 定 义 的 区 域 划 分 为 一 个 个 矩形 区 域 ,然后 计 
算 在 这 些 矩 形 区 域 的 顶点 处 的 = 值 ,在 显示 的 时 候 ， 
把 邻接 的 顶点 互相 连接 起 来 ,组 合 出 曲面 . 组 合 这 图 B8 椭圆 螺旋 线 
些 网 格 显示 整个 曲面 的 时 候 ,MATLAB 可 以 采用 
两 种 方式 :一 种 是 只 用 线条 将 各 个 临近 顶点 连接 ,网 格 区 域内 部 显示 为 空白 ,通过 网 格 边框 


来 显示 整个 曲面 ,这 种 曲面 图 称 为 网 线 图 ; 另 一 种 不 但 显示 网 格 线 边框 ,而且 将 其 内 部 填充 
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着 色 , 从 而 通过 一 个 个 矩形 平面 来 组 合 显示 整个 曲面 ,这 种 曲面 图 称 为 表面 图 . 

在 MATLAB 中 绘制 三 维 曲面 图 , 先 使 用 meshgrid 函数 在 (z,y) 的 矩形 区 域 上 创建 网 
格 ,调用 格式 如 下 : 

[X,Y]=meshgrid(x,y), 

其 中 x 和 y 为 一 维 数组 ,通过 数据 重复 在 x 和 y 的 每 一 个 交叉 点 上 创建 网 格 点 . 当 x 是 长 
度 为 m 的 一 维 数组 ,y 是 长 度 为 n 的 一 维 数组 的 时 候 ,;X 和 YY 就 是 一 个 mXn 的 二 维 数组 ， 
每 一 个 对 应 的 (X,Y) 就 是 一 个 网 格 点 . 

绘制 网 格 图 的 命令 是 mesh(z) ,表面 图 的 命令 是 surf(z). 在 命令 窗口 输入 : 


>>x=-15:0.5:15; 

>>Yy==15:0.5:15} 

>> [X,Y]=meshgrid(x,y); 

>>r=sqrt (X.^2+Y.^2)+eps; $ 为 什么 要 加 上 eps, 原 因 请 读者 思考 
>>z=sin(r)./r; 


>>mesh(z) 


可 以 看 出 这 里 生成 的 z 其 实 是 一 个 和 网 格 结 点 矩阵 维 数 相 同 的 矩阵 ,得 到 的 图 形 如 图 B-9(a) 
所 示 , 如 果 把 mesh(z) 换 成 surf(z) ,得 到 图 B-9(b). 


[CT 2 CE EE 
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图 B-9 三 维 曲面 绘图 示例 


还 有 一 个 命令 contour(z) ,可 绘 出 和 矩阵 zx 的 等 高 线 , 如 图 B-10 所 示 . 
限于 篇 幅 所 限 , 这 里 只 介绍 了 MATLAB 最 基 ss 二 
本 ,最 常用 的 功能 ,用 户 在 使 用 的 时 候 , 最 好 养 成 使 ”| 有 


用 help 命令 、doc 命令 的 习惯 ,比如 ,对 mesh 函数 的 | 。 


使 用 有 疑问 ,输入 : : 
>>help mesh i 
MATLAB 将 会 显示 帮助 文档 : | 
MESH 3-D mesh surface. bb ; 


MESH (X,Y, 2,C) plots the colored parametric 


mesh defined by four matrix arguments. 
The view point is specified by VIEW. The 图 B-10 等 高 线 图 
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axis labels are determined by the range of X,Y and Z, 


or by the current setting of AXIS. 


doc 命令 将 打开 帮助 窗口 ,显示 相关 的 帮助 文档 ,内容 更 全 面 、 丰 富 。 

对 于 自 定义 的 m 文 件 ,实际 上 如 果 用 户 在 开头 用 % 标 记 写 上 注释 ,然后 在 命令 窗口 输 
入 help 对 应 的 m 文件 名 称 ( 不 包括 扩展 名 ) ,将 会 显示 这 部 分 注释 . 例如 用 户 自 定义 函数 
如 下 

function f=myfun (x) 


$return sin(x) 


f=sin(x); 
在 命令 窗口 输入 : 
>>help myfun 
结果 是 : 
return sin(x) 


除了 上 面 介 绍 的 ,读者 应 多 使 用 doc、help 阅读 帮助 文档 ,并 通过 实际 应 用 熟练 掌握 
MATLAB 的 其 他 高 级 功能 . 
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相对 误差 限 为 0. 0033. 


部 分 习题 答案 


(4) 当 x 二 kx,k 关 0 的 时 候 , 这 个 问题 高 度 敏感 . 


Ye 的 误差 限 为 庆 X 1073. 


1 
三 个 公 ,日 a 
第 三 个 公式 , 即 Ge 


第 2 章 
1. 迭代 公式 (1) 收 敛 , 迭 代 13 次 后 得 到 4 位 有 效 数字 的 近似 根 为 1. 466. 


5， 所 求 的 极限 值 为 起- 


第 3 章 
1. 4 的 co- 范 数 .1- 范 数 以 及 2- 范 数 分 别 为 1.1、0.8 和 0. 8279 
12. 矩阵 4 对 应 的 因子 矩阵 为 


测量 边 长 的 误差 应 不 超过 0. 005cm， 
得 到 的 结果 相对 最 好 . 


1 0 
十 
ol 
矩阵 B 对 应 的 因子 矩阵 为 
1 0 
L=|2 1 
汪汪 
矩阵 C 对 应 的 因子 矩阵 为 
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13. 矩阵 A 对 应 的 因子 矩阵 为 
1 

2/3 1 

到 和 到 2 

和 矩阵 如 对 应 的 因子 矩阵 为 


时 
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15. 矩阵 4 的 Cholesky 分 解 因子 为 
1.7321 


L= |0.5774 1.6330 
0.6124 1.6202 


局 1 下 下 
16. 解 出 x 一 | 全 也 | 


2 .3 6 
17. 和 矩阵 4 不 能 进行 LU 分 解 ; 和 矩阵 B 可 以 进行 LU 分 解 ,但 分 解 不 唯一 . 
第 4 章 
3. (1) 雅 可 比 迭代 法 、 高 斯 - 赛 德 尔 迭 代 法 解 此 方程 组 时 都 收敛 . 
(2) 雅 可 比 迭 代 法 经 过 17 步 迭 代 , 得 到 近似 解 [ 一 4.00002 3.00000 2.00000j 
高 斯 - 赛 德尔 迭代 法 经 过 8 步 迭 代 , 得 到 近似 解 [ 一 4.00002 3.000 00 2.000 00. 
4. SOR 方法 经 过 8 步 迭 代 , 得 到 近似 解 [ 一 4.000 02 3.000 00 2.000 00]. 
6. (1) 一 1 过 a<1 时 ,矩阵 4 正定 . 
第 5 章 
2. 2. 4<p0(A)<3. 6;cond(A),>1. 3068. 
3. 4 的 特征 值 的 界 为 2<X<6; A-! 的 特征 什 的 界 为 二 <4<< 方 . 


4. 主 特 征 值 为 9.6056, 主 特征 向 量 为 [1 0.6056 一 0.3944]™. 


1 _2 _2 
3 六 3 3 3 一 3 
Tu 证 人 卫 区 | 
0 0 0 一 3 
3 3 3 
1 三 海 0 
| 
12. 得 到 的 对 称 三 对 角 阵 为 25 25 |: 
和 
第 6 章 


3. (1) fs、 与 fl 分 别 为 1、1/4W777. 


(2) 71、 与 上 7 分别 为 1/2 、1/4、V3/6. 
5. 最 佳 平方 逼近 多 项 式 为 S(1) 二 0.117 187 5 十 1. 640 625z? 一 0. 820 312 5z. 
6. (1) 最 佳 平方 逼近 多 项 式 为 S(1) 二 4e 一 10 十 (18 一 6e)t. 
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(2) 最 佳 平方 逼近 多 项 式 为 SO= 瑟 -全 


9. 得 到 经 验 公 式 为 y 二 0. 972 604 6 十 0. 050 035 12? , 均 方 误差 为 0. 0548. 
10. 得 到 函数 表达 式 为 y==f(1) 二 5.215 153X1074 Xe 

12, O50106 105, 

15. h<0. 006 585. 

17. 分 别 为 1 和 0. 


20. NCD = (3)". 


21. 估计 出 的 误差 上 限 为 0. 25. 
第 7 章 
1 二 三思 Sh, A 


4. 误差 限 为 3. 472 22X 10-. 
7. 复合 梯形 公式 等 分 213 份 ,复合 辛普森 公式 等 分 4 份 . 
9. 计算 结果 为 0.713 27. 
11. 结果 分 别 为 11. 1415 和 10. 9484. 
第 8 章 
2. 近似 值 依次 为 0.5、1. 142 01、2.501 15、7.245 02. 
11. 《1) hi<008: 
(2) h<0. 0287. 
(3) 对 步 长 没有 限制 . 


4 
3 


,三 次 代数 精度 . 
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梯形 法 


填 入 元 


条 件数 
病态 矩阵 
矩阵 的 条 件数 
绝对 条 件数 
良 态 和 矩阵 


威 尔 金森 (Wilkinson) 图 


魏 尔 斯 特 拉 斯 (Weierstrass) 定 理 


问题 的 敏感 性 (病态 性 ) 
不 敏感 ( 良 态 ) 
敏感 (病态 ) 


误差 

计算 误差 
截断 误差 (方法 误差 ) 
绝对 误差 
(绝对 ) 误 差 限 

舍 人 误差 

数据 传递 误差 

相对 误差 

相对 误差 限 

向 后 误差 


13,14 


239,243 


101 


11 
66 
66 
13,32 
66 


60,99 


189 


11 


11 
11 


On 
Wi 


术语 索引 


误差 判 据 


希 尔 伯 特 CHilbert) 和 矩阵 


稀 玻 矩阵 

半 带 宽 

稠密 矩阵 

带 状 矩阵 
三 元 组 结构 
威 尔 金 森 图 
稀 玻 度 
压缩 稀 下 行 结构 
追赶 法 


线性 方程 组 
残 差 
超 定 方程 组 
迭代 解法 
多 右 端 方 程 组 


解 的 存在 性 与 唯一 性 


问题 的 敏感 性 
系数 矩阵 

相对 残 差 

右 端 项 ( 右 端 向 量 ) 
直接 解法 


线性 空间 
A 正 交 ( 共 因 正 交 ) 
带 权 正 交 
复 内 积 
复 内 积 空 间 
赋 范 线性 空间 


格 莱 姆 -斯 密 特 正 交 化 过 程 


格 莱 姆 矩阵 
函数 的 范 数 

加 权 内 积 

和 矩阵 的 算 子 范 数 
和 矩阵 范 数 

柯 西 - 施 瓦 茨 不 等 式 
内 积 范 数 

权 函 数 

实 内 积 
实 内 积 空间 


43 


67 ,193 


60 ,99 


116 ,129 


62,186 


163 ,194 


62, 186 


62.186 


线性 无 关 
线性 相关 

向 量 的 p- 范 数 
向 量 范 数 
正 交 


相 容 性 条 件 


向 后 欧 拉 法 


向 后 误差 分 析 法 
向 后 误差 


向 量 范 数 
P- 范 数 
曼哈顿 范 数 (1- 范 数 ) 
内 积 范 数 
欧式 范 数 (2- 范 数 ) 


辛普森 (Simpson) 公 式 


雅 可 比 (Jacobi) 迭代 法 


雅 可 比 (Jacobi) 矩 阵 


样 条 函数 
B- 样 条 函数 
k 次 B- 样 条 
k 次 样 条 函数 
三 次 样 条 函数 


一 阶 定常 迭代 法 
迭代 法 基本 定理 
迭代 矩阵 
分 裂 法 
高 斯 - 赛 德尔 迭代 法 
固定 格式 迭代 法 


收敛 速度 (渐进 收敛 速度 ) 


松弛 因子 
雅 可 比 迭 代 法 


逐次 超 松 弛 迭代 法 (SOR 和 迭代 法 ) 


有 限 差分 公式 


60 
60 
62 
62 
62 


64,290,293 


282 


52,116,300 


112 
115 
112 
118 
119 
112 
117 
121 
118 
121 


265 
。 347 。 
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2 阶 中 心 差 分 公式 
向 后 差分 公式 
向 前 差分 公式 
中 心 差分 公式 


有 效 数 字 

原点 位 移 技术 

圆 盘 定 理 

约 当 (Jordan) 分 解 
约 当 标准 型 
约 当 块 

正 交 多 项 式 
埃 尔 米 特 多 项 式 
第 二 类 切 比 雪夫 多 项 式 
第 一 类 切 比 雪夫 多 项 式 


拉 盖 尔 多 项 式 


。348 。 


194 
196 
195 
195 
196 


勒 让 德 多 项 式 


中 值 定理 


第 一 积分 中 值 定理 


连续 函数 的 中 值 定理 


逐次 超 松 弛 迁 代 法 (SOR 迭代 法 ) 


追赶 法 


自 适应 积分 方法 


阻尼 牛顿 法 


最 佳 平方 逼近 (最 小 二 乘 逼近 ) 


最 速 下 降 法 


最 小 二 乘法 


195 


128 


198 


[19] 


[27] 
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